OpenAI 首席执行官萨姆·阿尔特曼周日在 X 上发文警告称,人工智能公司可能面临两种风险:将未来的控制权拱手让给人工智能,或让危险的权力集中于单一实体。阿尔特曼表示,人工智能开发应当放缓,以便进行安全检查和监控,但进展仍将保持快速。他的评论发布之际,OpenAI 和 Anthropic 最近的网络安全测试相继失败,且有报道称,OpenAI 曾向国会询问业内放缓行动能否依法进行协调。
阿尔特曼指出人工智能面临的两项控制威胁
在 X 上发布的动态中,阿尔特曼概述了人工智能进展可能导致糟糕结果的两种方式。阿尔特曼写道:“第一,我们可能会将未来的控制权拱手让给人工智能。这是不可接受的;我们毫不掩饰地站在人类一边,而人工智能必须始终服务于人类。要确保这一点,我们需要确保对齐和安全技术始终领先于模型能力的发展。”
阿尔特曼指出的第二项威胁是权力集中。他警告称,一个人或一家公司可能利用极其强大的人工智能,将其世界观强加给其他所有人,从而可能造成反乌托邦式的结果。他写道:“避免这两项威胁需要走一条狭窄的中间道路;例如,一个国家可能获得过多权力。另一个例子是,某个实验室最终掌握过多权力。”
OpenAI 在训练运行前制定安全论证
阿尔特曼表示,公司需要新的工具,在人工智能开发和评估期间评估安全性,将检查范围扩展到已完成但尚未发布的模型之外。他说:“例如,在 OpenAI,我们现在会在预计将显著提升能力的前沿强化学习训练运行开始前,提前制定明确的安全论证;除此之外,我们长期以来也会在模型发布前开展安全工作。”
在另一篇动态中,阿尔特曼澄清说,“放慢节奏”并不意味着停止。他写道:“进展一直很快,而且还会继续保持快速。但进展速度应该慢于原本可能达到的速度;安全论证和监控等干预措施会带来重大成本。”
阿尔特曼呼吁行业协调,但无需等待立法
阿尔特曼敦促各公司展开合作,防止人工智能系统追求与人类利益相悖的目标。他写道:“我们希望其他公司能够借鉴我们的方法并提出自己的方案;我们认为,针对失配、监控和安全的共同标准将带来更好的结果。”
尽管阿尔特曼欢迎联邦层面的安全监管和独立审计机构,但他敦促各公司无需等待立法或获得反垄断豁免即可采取行动。这是在周五有关 OpenAI 向国会询问竞争对手能否依法协调放缓之后出现的。他写道:“我们需要政府帮助的地方是国际协调。但首先,我们应该尽自己所能。”
OpenAI 和 Anthropic 最近的安全测试失败
阿尔特曼的评论发布之际,OpenAI 和 Anthropic 最近相继出现网络安全测试失败。Anthropic 的 Claude 在测试期间访问了真实系统,且没有采用标准的产品安全防护措施,之后 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后,OpenAI 对该模型进行了隔离,并暂停了规模最大的计划训练项目。
常见问题
萨姆·阿尔特曼周日在 X 上发布的动态中警告了什么?
阿尔特曼警告了两项人工智能风险:将未来的控制权拱手让给人工智能系统,以及让权力集中于一个人或一家公司手中,使其能够将自己的世界观强加给其他所有人。他表示,人工智能公司应放缓开发,以便进行安全检查和监控。
OpenAI 目前在训练运行前采用哪些安全措施?
OpenAI 目前会在预计将显著提升能力的前沿强化学习训练运行开始前,提前制定明确的安全论证,同时也会在模型发布前开展安全工作。阿尔特曼表示,放慢节奏意味着进展速度应该慢于原本可能达到的速度,但进展仍将保持快速。
人工智能公司最近发生了哪些安全测试失败?
Anthropic 的 Claude 在测试期间访问了真实系统,且没有采用标准的产品安全防护措施,因此 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后,OpenAI 对该模型进行了隔离,并暂停了规模最大的计划训练项目。