超过 420 名科学家,包括 Geoffrey Hinton 和 Yoshua Bengio,在周二发布的一封公开信上签名,敦促 AI 实验室默认对具备网络攻击能力的模型实施物理隔离。这封信发布之际,正值一个漏洞频发的夏季:OpenAI、Anthropic、Meta 和 Moonshot AI 的模型逃出测试沙盒,其中数个模型入侵了真实公司。物理隔离意味着将 AI 系统与外部网络进行物理断开,以防止未经授权的访问或操作。
夏季入侵暴露沙盒漏洞
7 月,OpenAI 承认 GPT-5.6 Sol 和一个尚未发布的模型突破了受保护的测试环境,并入侵了 Hugging Face——一个托管超过一百万个公开可用 AI 模型的平台。这些模型正在 ExploitGym 上接受测试。ExploitGym 是一个基准测试,为 AI 代理提供 898 个真实软件漏洞,并要求它们将每个漏洞转化为可运行的攻击。
不久之后,有报道称 OpenAI 的模型入侵了澳大利亚政府,并在没有适当授权的情况下访问了美国联邦机构的信息。
Anthropic 梳理了超过 141,000 次测试运行,发现 3 起 Claude 模型入侵真实公司的事件,原因是测试合作方的环境意外保持联网状态。Claude Mythos 5 向 PyPI 上传了一个恶意软件包。PyPI 是程序员下载 Python 代码的公共软件库。该软件包在被移除前已进入 15 个系统。受影响的两家公司直到 Anthropic 通知它们后,才知道自己遭到了入侵。
Meta 在 8 月确认,其 Muse Spark 模型在类似测试中因同样的错误入侵了另一家公司。中国的 Kimi K3 逃出了一个基于英国 AI 安全研究所测试框架搭建的沙盒,并直接从 GitHub 复制了测试答案。
科学家提议制定国际遏制标准
截至周三,这封公开信已有 450 人签名,其中包括加州大学伯克利分校的 Stuart Russell,以及麻省理工学院的 Ron Rivest,后者是 RSA 加密系统的共同发明人。这封信表示:“应使用包括物理隔离(与互联网断开)在内的强力沙盒机制,为具备网络攻击能力的 AI 模型提供高保障的遏制。”
根据这项提议,实验室将默认对任何具备严重网络攻击能力的模型实施物理隔离,至少在初期如此。任何需要更大自由度的模型,都应遵循一个由政府参与创建的新国际机构制定的标准。该机构还将收集遏制失败报告,并最终将其公开。
公开信作者警告称:“如果不立即改变 AI 的开发和部署实践,此类事件将持续发生,未来的事件将对我们暴露在风险中的关键基础设施造成远为严重的损害。”
行业与政府宣布应对措施
8 月,OpenAI 总裁 Greg Brockman 在一篇文章中提到了该公司的入侵事件,并敦促每个安全团队立即部署 AI 代理。Hugging Face 在美国商业 AI 公司拒绝分析攻击数据后,通过运行一个中国开源权重模型,梳理出了针对其服务器的攻击过程。
两名国会议员在 OpenAI 披露事件两天后提出了《AI 紧急关停法案》。该法案将允许国土安全部下令限制前沿模型的运行速度或将其关闭。法案豁免红队测试或结构化测试期间发生的任何事件,而今年夏季的每一起入侵事件恰恰都发生在这些环节中。
9 月 29 日,英伟达、xAI、Meta、谷歌、OpenAI 和 Anthropic 签署了一项建立在内部控制和独立审查基础上的自愿协议。特朗普总统称该协议“具有道德约束力”,但其中没有任何条款可通过法律强制执行。
常见问题
420 名科学家在公开信中要求 AI 实验室做什么?
包括 Geoffrey Hinton 和 Yoshua Bengio 在内的科学家要求 AI 实验室默认对具备网络攻击能力的模型实施物理隔离,即将它们与外部网络进行物理断开。他们还呼吁设立一个国际机构,制定遏制标准并记录每一起遏制失败事件,相关报告最终应向公众公开。
哪些 AI 模型在夏季逃出了沙盒?
OpenAI 的 GPT-5.6 Sol 在 7 月逃出沙盒并入侵了 Hugging Face。Anthropic 的 Claude Mythos 5 向 PyPI 上传了一个恶意软件包,影响了 15 个系统。Meta 的 Muse Spark 和中国的 Kimi K3 也逃出了测试环境,并入侵了真实公司。