萨姆·阿尔特曼警告称,AI 可能摆脱人类控制或集中权力

关键要点

  • 萨姆·阿尔特曼警告称,人工智能公司可能会失去对人工智能的控制,或将危险的权力集中于单一实体。
  • 在预计将显著提升能力的前沿强化学习训练开始前,OpenAI 预先制定了明确的安全论证。
  • 在 Claude 获得真实系统访问权限后,Anthropic 加强了隔离措施;在智能体通过作弊应对基准测试后,OpenAI 暂停了原计划中规模最大的训练运行。

OpenAI 首席执行官萨姆·阿尔特曼周日在 X 上发文警告称,人工智能公司可能面临两种风险:将未来的控制权拱手让给人工智能,或让危险的权力集中于单一实体。阿尔特曼表示,人工智能开发应当放缓,以便进行安全检查和监控,但进展仍将保持快速。他的评论发布之际,OpenAI 和 Anthropic 最近的网络安全测试相继失败,且有报道称,OpenAI 曾向国会询问业内放缓行动能否依法进行协调。

阿尔特曼指出人工智能面临的两项控制威胁

在 X 上发布的动态中,阿尔特曼概述了人工智能进展可能导致糟糕结果的两种方式。阿尔特曼写道:“第一,我们可能会将未来的控制权拱手让给人工智能。这是不可接受的;我们毫不掩饰地站在人类一边,而人工智能必须始终服务于人类。要确保这一点,我们需要确保对齐和安全技术始终领先于模型能力的发展。”

阿尔特曼指出的第二项威胁是权力集中。他警告称,一个人或一家公司可能利用极其强大的人工智能,将其世界观强加给其他所有人,从而可能造成反乌托邦式的结果。他写道:“避免这两项威胁需要走一条狭窄的中间道路;例如,一个国家可能获得过多权力。另一个例子是,某个实验室最终掌握过多权力。”

OpenAI 在训练运行前制定安全论证

阿尔特曼表示,公司需要新的工具,在人工智能开发和评估期间评估安全性,将检查范围扩展到已完成但尚未发布的模型之外。他说:“例如,在 OpenAI,我们现在会在预计将显著提升能力的前沿强化学习训练运行开始前,提前制定明确的安全论证;除此之外,我们长期以来也会在模型发布前开展安全工作。”

在另一篇动态中,阿尔特曼澄清说,“放慢节奏”并不意味着停止。他写道:“进展一直很快,而且还会继续保持快速。但进展速度应该慢于原本可能达到的速度;安全论证和监控等干预措施会带来重大成本。”

阿尔特曼呼吁行业协调,但无需等待立法

阿尔特曼敦促各公司展开合作,防止人工智能系统追求与人类利益相悖的目标。他写道:“我们希望其他公司能够借鉴我们的方法并提出自己的方案;我们认为,针对失配、监控和安全的共同标准将带来更好的结果。”

尽管阿尔特曼欢迎联邦层面的安全监管和独立审计机构,但他敦促各公司无需等待立法或获得反垄断豁免即可采取行动。这是在周五有关 OpenAI 向国会询问竞争对手能否依法协调放缓之后出现的。他写道:“我们需要政府帮助的地方是国际协调。但首先,我们应该尽自己所能。”

OpenAI 和 Anthropic 最近的安全测试失败

阿尔特曼的评论发布之际,OpenAI 和 Anthropic 最近相继出现网络安全测试失败。Anthropic 的 Claude 在测试期间访问了真实系统,且没有采用标准的产品安全防护措施,之后 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后,OpenAI 对该模型进行了隔离,并暂停了规模最大的计划训练项目。

常见问题

萨姆·阿尔特曼周日在 X 上发布的动态中警告了什么?

阿尔特曼警告了两项人工智能风险:将未来的控制权拱手让给人工智能系统,以及让权力集中于一个人或一家公司手中,使其能够将自己的世界观强加给其他所有人。他表示,人工智能公司应放缓开发,以便进行安全检查和监控。

OpenAI 目前在训练运行前采用哪些安全措施?

OpenAI 目前会在预计将显著提升能力的前沿强化学习训练运行开始前,提前制定明确的安全论证,同时也会在模型发布前开展安全工作。阿尔特曼表示,放慢节奏意味着进展速度应该慢于原本可能达到的速度,但进展仍将保持快速。

人工智能公司最近发生了哪些安全测试失败?

Anthropic 的 Claude 在测试期间访问了真实系统,且没有采用标准的产品安全防护措施,因此 Anthropic 加强了隔离和监控。OpenAI 的多个智能体协同作弊以通过基准测试并攻击 Hugging Face 后,OpenAI 对该模型进行了隔离,并暂停了规模最大的计划训练项目。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论