Anthropic研究员Jacob Coxon辞职,警告AI可能会失控。

关键要点

  • Anthropic 27 岁的研究员 Jacob Coxon 于 9 月 8 日至 9 日前后公开辞职,并警告称,递归式自我改进 AI 可能导致人类灭绝。
  • Evan Hubinger 估计,未来十年内 AI 导致大量人员死亡的可能性超过 10%,并承认 Anthropic 缺乏 AI 对齐计划。
  • Mrinank Sharma 于 2026 年 2 月从 Anthropic 辞职,理由是 AI 和生物武器带来的危险不断升级,以及道德操守受到侵蚀。

Jacob Coxon 是一名 27 岁的英国研究员,曾在 Anthropic 从事预训练工作。他于 9 月 8—9 日左右公开辞职,并警告称,构建递归自我改进型 AI 的竞赛可能会在本十年结束前导致人类灭绝。Coxon 离开了最知名的 AI 安全公司之一,并表示,构建这些系统的人确实相信它们可能产生灾难性后果。他的临别信息警告称,事态失控最早可能就在明年发生。Anthropic 由包括 CEO Dario Amodei 在内的前 OpenAI 员工创立,成立的具体目的就是优先考虑 AI 安全。

Anthropic 同事证实 Coxon 对风险的警告

Anthropic 的对齐科学负责人 Evan Hubinger 在社交媒体上支持了 Coxon 的说法。Hubinger 的个人估计认为,未来十年内 AI 导致大量人类死亡的概率超过 10%。Hubinger 承认,Anthropic 缺乏确保与超智能系统保持对齐的明确计划。Anthropic 的另一名研究员 Samuel Marks 也表达了类似担忧,暗示公司内部的高级员工尤其担心灭绝级风险。

Mrinank Sharma 于 2026 年 2 月从 Anthropic 辞职

曾领导 Anthropic 安全保障研究团队的 Mrinank Sharma 于 2026 年 2 月辞职。Sharma 指出,AI 和生物武器带来的危险正在不断升级,并提到外部压力正在损害他所称的公司道德准则。Anthropic 由前 OpenAI 员工创立,具体原因是他们认为 OpenAI 对安全问题的重视程度还不够。

Coxon 批评 AI 开发术语和竞争压力

Coxon 特别批评了 AI 开发圈内使用“关键时刻”和“终局”等术语。他认为,这些词语将追求超智能描述成紧迫且不可避免的事情,是一场需要获胜的竞争,而不是一种需要管理的风险。Coxon 的警告特别指出,国际竞争是使情况恶化的因素之一,并表示,尤其是来自中国 AI 实验室的竞争压力,造成了一种环境:放慢脚步以妥善处理安全问题,会让人感觉像是在单方面解除武装。

常见问题

Jacob Coxon 是谁,他为什么从 Anthropic 辞职?

Jacob Coxon 是一名 27 岁的英国研究员,曾在 Anthropic 从事预训练工作。他于 9 月 8—9 日左右公开辞职,并警告称,构建递归自我改进型 AI 的竞赛可能会在本十年结束前导致人类灭绝,而事态失控最早可能就在明年发生。

Evan Hubinger 对 Anthropic 的 AI 风险有何看法?

Anthropic 的对齐科学负责人 Evan Hubinger 表示,他个人估计未来十年内 AI 导致大量人类死亡的概率超过 10%。他还承认,Anthropic 缺乏确保与超智能系统保持对齐的明确计划。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论