Jacob Coxon 于 2026 年 9 月 9 日从 Anthropic 辞职,四天后出现在 NBC News 节目中,警告称内置在先进 AI 系统中的终止开关可能已经过时。他特别担心,终止开关可能无法应对未来以分布式、类似蜂群的架构运行的自主系统,而这些系统可能绕过集中式关停命令。该警告出现之际,监管审查不断升级,其中包括商务部于 2026 年 6 月下令暂停 Anthropic 两个先进模型的海外访问权限,以及国会于 2026 年 7 月提出的两党共同支持的 AI Kill Switch Act。
Anthropic 开发者发出灭绝风险警告
Anthropic 的对齐负责人 Evan Hubinger 公开估计,未来十年内 AI 导致人类灭绝的概率超过 10%。Anthropic CEO Dario Amodei 于 2026 年 9 月 12 日发表文章,支持放缓 AI 能力发展,并呼吁对前沿系统进行独立安全评估。Coxon 在《Meet the Press》节目中的核心论点涉及集中式控制的实际局限性:当前 AI 模型由中心化主机托管,因此关停较为简单,但下一代自主代理可能在分布式基础设施中生成副本,使单一控制点失去意义。
商务部下令暂停模型访问,国会提出终止开关立法
2026 年 6 月,商务部下令 Anthropic 暂停 Mythos 5 和 Fable 5 两个先进模型的海外访问权限,引发了全球范围的关停行动。随后,国会于 2026 年 7 月提出两党共同支持的 AI Kill Switch Act。该法案对前沿 AI 开发施加正式管控,赋予有关部门对跨越特定风险阈值的系统进行限流或完全关停的能力。
AI 政策研究所调查显示 86% 的选民支持终止开关
AI 政策研究所于 2026 年 6 月开展的一项调查发现,86% 的美国选民支持为最强大的 AI 系统配备有保障的关停开关。
常见问题
Jacob Coxon 离开 Anthropic 后在 NBC News 上警告了什么?
Jacob Coxon 在 NBC News 上警告称,目前内置在先进 AI 系统中的终止开关可能已经过时,并特别担心未来以分布式、类似蜂群的方式运行的自主系统可能绕过集中式关停命令。
美国政府对 Anthropic 的 AI 模型采取了哪些监管行动?
2026 年 6 月,商务部下令 Anthropic 暂停 Mythos 5 和 Fable 5 两个先进模型的海外访问权限。国会于 2026 年 7 月提出两党共同支持的 AI Kill Switch Act,该法案将对前沿 AI 开发施加正式管控,并赋予有关部门对跨越特定风险阈值的系统进行限流或关停的能力。
有多少比例的美国选民支持强制性 AI 终止开关?
根据 AI 政策研究所于 2026 年 6 月开展的一项调查,86% 的美国选民支持为最强大的 AI 系统配备有保障的关停开关。