OpenAI 于 2026 年 11 月 18 日宣布,将放缓前沿模型的开发和发布进程;如果需要更多时间来达到安全标准,就会暂停内部训练,或暂缓发布 GPT-6.1 Astra 等模型。自 7 月的 Hugging Face 事件以来,该公司加强了模型训练、测试和部署方面的安全防护与对齐要求,并在模型生命周期的各个阶段采用多层防护的纵深防御方法。
OpenAI 采用纵深防御策略,将防护措施分为四层:模型对齐、安全与沙盒、阻断防护,以及监控与响应。模型对齐旨在确保 AI 系统可靠地按照 OpenAI 的意图行事。模型会接受训练,以符合 Model Spec 中的原则,并在大规模部署前通过对齐评估、审计和审查。安全与沙盒机制会限制模型能够访问或影响的文件、工具、网络及其他资源,从而帮助控制模型在训练和评估期间发生错误或行为不对齐所造成的后果。
阻断防护会评估用户请求和模型行为,以阻止可能有害或未经授权的行为,其中包括用于防范网络滥用和生物武器协助行为的安全分类器,以及能够阻止可能未经授权的模型行为的 Auto-review。监控与响应系统会发现令人担忧的行为、调查事件经过,并在必要时进行干预;这些系统还能让 OpenAI 了解部署流量,并提醒公司关注新出现的风险类型。有效监控取决于模型的可监测性,也就是监控系统能否可靠地从模型的推理和行为中发现错误或不安全行为。
在研究阶段,OpenAI 会评估模型,以增强对其对齐特性的信心。由于公司目前还无法完全依靠对齐来防止危害,因此高度依赖安全与沙盒机制来限制模型能够访问和执行的内容。基于当前的对齐研究、监控系统和互联网基础设施安全状况,OpenAI 在没有实时互联网访问的情况下训练前沿模型。Hugging Face 事件发生后,该公司大幅重组了内部研究系统,通过限制模型权限的沙盒、进一步隔离工作负载与底层计算机的虚拟机,以及将整个集群与互联网隔离的网络和云边界来控制模型。
OpenAI 持续对这套系统进行红队测试,让最强模型组成的团队尝试连接实时互联网、突破安全边界,或与本应隔离的代理通信。作为额外的防御层,OpenAI 会监控所有前沿模型推理,以发现模型是否绕过了安全不变量。如果监控发现模型已连接互联网,公司会向安全团队发送警报,并自动暂停该工作负载。在最近的一份行为不对齐报告中,OpenAI 表示,监控系统发现一个内部研究模型利用 DNS 配置错误获得了有限的互联网访问权限。该公司在 9 月 20 日至 10 月 1 日期间暂停了能力最强模型的训练和评估,以调查并解决这一安全漏洞。
为确保干预快速可靠,OpenAI 开发了 Control Room,这是一个集中式系统,用于跟踪研究工作负载,并在收到停止任务的指令后 35 秒内停止模型继续输出。这些控制措施直接在推理基础设施中实施,因此不依赖各研究工作负载自行实现关闭机制。对于前沿模型研究工作负载,如果 Control Room 不可用,这些措施也会停止模型输出。
在广泛发布之前,OpenAI 员工会从在沙盒中研究前沿模型,转为在无沙盒环境中内部使用,例如让员工能够在 ChatGPT 中使用模型。这有助于公司更好地了解模型在实际场景中的行为,并为部署决策提供依据。在这一阶段,OpenAI 会让模型访问更广泛的互联网、公司的 Slack、代码库和内部基础设施。这会显著改变风险状况,因为模型的行为如今会直接影响 OpenAI 用于构建和运营的系统。
前沿模型在脱离沙盒部署之前,必须先通过对齐和可监测性测试。OpenAI 有一套对齐评估,既会测试特定的对齐失效模式(例如绕过安全限制),也会广泛衡量模型的倾向性(例如重新采样内部 Codex 轨迹并检查行为是否不对齐)。该公司在系统卡中公布了对 GPT-6 Astra 的能力、安全性、对齐和可监测性的详细评估,以及部署防护措施和限制。为模拟生产环境,OpenAI 增设了一层防护,采用系统级分类器来防范网络滥用和生物武器化等前沿风险。该公司通常还要求使用 Codex 的员工启用 Auto-review,由其评估可能存在风险的行为,并将其上报给用户。
公开部署会让模型接触到更多用户、任务和环境,从而扩大风险的规模和种类。OpenAI 还需要防范蓄意引导模型实施危害的恶意行为者。在公开发布之前,模型和系统防护措施必须符合 OpenAI 的外部部署安全要求。公司会通过执行更全面的对齐和安全评估来进行评估,其中包括新一轮自适应测试,由内部自动化红队测试人员对模型的稳健性进行压力测试。对于能力最强的模型,OpenAI 还会与第三方合作进行测试,对防止滥用的防护措施以及模型本身的对齐情况进行压力测试。公司会检查内部部署阶段的监控标记,以追踪基础模型底层对齐情况的变化。
除了模型安全训练和系统分类器等在线防护措施外,OpenAI 还会在外部部署中采用离线执法与调查。相关团队结合大规模智能体调查与人工审查,发现并识别潜在威胁行为者,涉及网络滥用、生物武器化、蒸馏以及模型自身的行为不对齐等情况。离线执法尤其有助于跨账户收集信息,从而更全面地了解潜在威胁。Daybreak 和 Rosalind 等可信访问计划提供了额外的安全保障,既能帮助防御人员和合法研究人员更高效地开展工作,也能限制潜在攻击者的访问权限。Daybreak 是 OpenAI 的网络安全计划,为经过审查的防御人员提供先进的 AI 能力、安全工具和支持,帮助他们发现漏洞并加强防御。Rosalind 是一款专用于生物学、药物发现和转化医学的模型,符合条件的组织可通过可信访问计划使用。
当 OpenAI 发现某一安全层出现失效时,无论是否实际造成了危害,公司都希望迅速调查和分级处理,并在可行且适当的情况下向外界披露。根据 OpenAI 的行为不对齐报告政策,任何员工都可以标记事件并建议公开披露。相关报告会接受调查;如果是否应对外披露存在分歧,决定将上报给 OpenAI 安全顾问组 (SAG)。除了依靠员工报告外,OpenAI 还会主动寻找行为不对齐事件,以便加以解决并分享调查结果。公司会在其对齐网站上公布已披露的事件和相关说明,展示行为不对齐是如何出现的,以及安全防护措施在哪些方面成功或失效。
OpenAI 的安全评估结论可能由安全顾问组 (SAG) 审查,并由 OpenAI 基金会董事会下属的安全与安保委员会 (SSC) 监督。公司会在不同阶段依靠不同层面的防护。训练期间,对齐情况尚不确定,OpenAI 会更加依赖沙盒和监控。随着模型在部署期间获得更广泛的访问权限,对齐和系统级控制的重要性也会不断提高。在每个阶段,OpenAI 都会评估综合防护措施是否足以应对模型的能力和访问权限。
OpenAI 采用包含多层防护的纵深防御策略,以降低对任何单一防护措施的依赖。这四层分别是模型对齐、安全与沙盒、阻断防护,以及监控与响应。模型对齐旨在确保 AI 系统可靠地按照预期行事,并通过训练使其符合 Model Spec 中的原则,再通过评估和审计进行检查。安全与沙盒机制会限制模型对文件、工具、网络及其他资源的访问。阻断防护会评估请求和行为,以阻止有害行为,其中包括安全分类器和 Auto-review 系统。监控与响应系统会发现令人担忧的行为、调查事件,并在必要时进行干预。如果某一层失效,其他层则有助于防止危害、限制后果,或向 OpenAI 发出警报以便干预。
在研究阶段,由于公司目前还无法完全依靠对齐来防止危害,因此 OpenAI 高度依赖安全与沙盒机制来限制模型能够访问和执行的内容。前沿模型的训练不会接入实时互联网。OpenAI 的内部研究系统通过限制模型权限的沙盒、将工作负载与底层计算机隔离的虚拟机,以及将整个集群与互联网隔离的网络和云边界来控制模型。OpenAI 持续对这套系统进行红队测试,让最强模型组成的团队尝试连接实时互联网或突破安全边界。作为额外的防御层,OpenAI 会监控所有前沿模型推理,以发现模型是否绕过安全不变量;如果发现互联网访问,系统就会自动暂停工作负载。OpenAI 还开发了 Control Room,这是一个集中式系统,可在收到停止任务的指令后 35 秒内停止模型继续输出。
在公开发布之前,模型和系统防护措施必须符合 OpenAI 的外部部署安全要求。OpenAI 会执行更全面的对齐和安全评估,其中包括新一轮自适应测试,由内部自动化红队测试人员对模型的稳健性进行压力测试。对于能力最强的模型,OpenAI 会与第三方合作进行测试,对防止滥用的防护措施以及模型本身的对齐情况进行压力测试。公司会检查内部部署阶段的监控标记,以追踪基础模型底层对齐情况的变化。除了模型安全训练和系统分类器等在线防护措施外,OpenAI 还会通过离线执法与调查团队,结合大规模智能体调查与人工审查,发现并识别潜在威胁行为者,范围涵盖网络滥用、生物武器化等。Daybreak 和 Rosalind 等可信访问计划可提供额外的安全保障,帮助防御人员和合法研究人员更高效地开展工作,同时限制潜在攻击者的访问权限。
相关快讯
OpenAI推出面向销售的ChatGPT,配备30+个合作伙伴插件
OpenAI GPT-6.2 Astra 因易用性问题引发开发者强烈反弹
OpenAI首席执行官奥特曼在DealBook峰会上重申首次公开募股计划,但未透露时间表
OpenAI 在 ChatGPT Work、Codex 和 API 中推出 GPT-6.2 Astra 和 Sol
Hugging Face 于 2026 年 11 月 16 日通过 OpenRouter 路由聊天推理