Anthropic 警告称,其可能即将达到 AI 自我改进里程碑

关键要点

  • Anthropic 在提交给 SEC 的 S-1A 文件中披露,内部估算表明,公司可能即将达到递归自我改进的能力门槛。
  • 根据 Anthropic 的负责任扩展政策,公司承认,在研发中使用 AI 会带来重大安全风险,同时也可能提高生产力。
  • Anthropic 承诺在前沿模型开发中保持有意义的人类监督和督导,以确保人类继续掌控。

Anthropic 周一在修订后的 S-1A 文件中警告称,公司可能即将达到其内部定义的 AI 模型递归式自我改进(RSI)能力门槛。该披露出现在 SEC 文件的风险因素部分,文件还披露了更新后的财务数据,显示营收飙升的同时开支也在增加。RSI 指的是 AI 开始能够自我训练、从而使能力大幅加速提升的节点。公司在其《负责任扩展政策》中称,这一里程碑既会带来相当大的安全风险,也可能提高生产力。

Anthropic 在 S-1A 文件中披露 RSI 警告

Anthropic 在 S-1A 文件的风险因素部分加入了新的声明,称内部估算表明,公司可能即将达到其《负责任扩展政策》中“可归因于 AI 的进展大幅加速”的定义。文件称:“我们的内部估算以及对未来模型的预期(而非对当前模型的预期)表明,我们可能即将达到《负责任扩展政策》中‘可归因于 AI 的进展大幅加速’的定义。”公司承认,过去曾在开发速度显著加快之后,才意识到这种加速已经发生。

文件解释称,Anthropic 越来越多地使用 AI 系统来加速自身的研究与开发,这可能导致模型能力进步的速度超过公司开发相应安全、对齐和安保措施的能力。Anthropic 在研发过程中使用 AI,但也提醒称,利用 AI 帮助构建能力更强的 AI 可能带来相当大的安全风险,尤其是在这会大幅加快进展步伐的情况下。公司《负责任扩展政策》涵盖了这一领域,其中列出了在公司接近递归式自我改进时监测和缓解风险的计划。

Anthropic 承诺在模型开发中保留人工监督

Anthropic 在文件中表示,目前没有任何模型被认定超过 RSI 阈值,公司仍在评估相关底层数据。公司预计,即使技术上可行,自己也无法在缺乏有意义的人类监督或理解的情况下,安全地让 Claude 完全自主地设计和构建一代又一代的前沿模型。Anthropic 正在考虑更新其《负责任扩展政策》,以确保公司在前沿模型开发中由人类掌控。

Claude 在编程和网络安全方面的能力不断提升

据文章称,Claude 的能力,尤其是在编程、数学和网络安全方面,今年取得了长足进步。公司承认,自己可能已经经历过当时未能察觉的能力飞跃,这表明模型改进的速度已经超过了最初的预测。

常见问题

Anthropic 周一在 S-1A 文件中警告了什么? Anthropic 周一在修订后的 S-1A 文件中警告称,公司可能即将达到其对递归式自我改进(RSI)能力的内部定义,即 AI 模型能够自我训练,从而大幅加快能力发展。该披露出现在 SEC 文件的风险因素部分。

Anthropic 的 Claude 是否已跨过 RSI 阈值? 没有。Anthropic 在文件中表示,目前没有任何模型被认定超过 RSI 阈值。公司仍在评估相关底层数据,并承诺在前沿模型开发中由人类掌控。

Anthropic 的《负责任扩展政策》是什么? Anthropic 的《负责任扩展政策》列出了公司在接近递归式自我改进时监测和缓解风险的计划。该政策涵盖利用 AI 帮助构建能力更强的 AI,并定义了“可归因于 AI 的进展大幅加速”的阈值。Anthropic 正在考虑更新该政策,以确保模型开发中保留人工监督。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论