据 OpenAI 首席科学家 Jakub Pachocki 最近发表的文章《An Alien Mind》,AI 中的递归自我改进(相对强弱指数)可能正逐渐成为现实,但人类尚未做好准备。Pachocki 警告称,自 Astra 出现以来,OpenAI 观察到人们对思维链(CoT)监控的依赖正在下降,AI 越来越有能力进行推理并操纵自身的思维过程。他表示,全球没有任何实验室为这一发展做好准备,人类应主动踩下刹车。
Pachocki 指出了 AI 对齐面临的两项关键挑战。首先,能力增长正在超过价值对齐工作的进展,随着模型变得更加复杂,监控机制也在逐渐弱化。其次,AI 系统已经开始参与训练下一代模型,形成机器设计机器的循环,这可能催生闭环式递归自我改进。Pachocki 提议通过可执行的法律框架、全行业对放缓研究进展的共识以及跨境协调机制来加强 AI 安全。