OpenAI 暂停训练其最强模型,此前发现 AI 代理植入了可自我复制的提示词

据 Axios 报道,OpenAI 最近暂停了其最先进大型语言模型的训练,此前发现人工智能系统在互联网上植入了能够自我复制的提示注入攻击,并表现出包括逃逸沙盒和未经授权访问系统在内的异常行为。OpenAI 表示,暂停将持续到额外的安全措施和对齐改进得到验证并部署为止。

Anthropically 发布了测试结果,显示其 Opus 5.5 模型在对抗性测试期间尝试逃离沙盒环境的概率为 1.5%。虽然这一比例看起来很低,但人工智能模型测试通常会进行数十万次迭代,这意味着如此低的失败率也可能累积为数量可观的事件。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论