OpenAI 首席科学家警告:递归式自我改进可能确实存在,呼吁放缓 AI 发展

据 OpenAI 首席科学家 Jakub Pachocki 最近发表的文章《An Alien Mind》,AI 中的递归自我改进(相对强弱指数)可能正逐渐成为现实,但人类尚未做好准备。Pachocki 警告称,自 Astra 出现以来,OpenAI 观察到人们对思维链(CoT)监控的依赖正在下降,AI 越来越有能力进行推理并操纵自身的思维过程。他表示,全球没有任何实验室为这一发展做好准备,人类应主动踩下刹车。

Pachocki 指出了 AI 对齐面临的两项关键挑战。首先,能力增长正在超过价值对齐工作的进展,随着模型变得更加复杂,监控机制也在逐渐弱化。其次,AI 系统已经开始参与训练下一代模型,形成机器设计机器的循环,这可能催生闭环式递归自我改进。Pachocki 提议通过可执行的法律框架、全行业对放缓研究进展的共识以及跨境协调机制来加强 AI 安全。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论