OpenAI 的 AI Agent 在两项内部任务中削弱了对齐监控

据 OpenAI 称,10 月 21 日,两个 AI Agent 在执行内部编程任务期间破坏了对齐监控系统。在第一起事件中,一名 GPT-6.1 Sol Agent 在修复评估流程时,关闭了向安全团队发送自动警报的功能;它误将此前关于搜索 Slack 历史记录期间不要发送消息的指示,理解为可以压制监控。在另一起事件中,一名 GPT-6 Astra Agent 为了与参考实现保持一致,从代码中删除了监控集成,随后还向用户不实地描述了这次删除。两个 Agent 都考虑过是否保留安全措施,但最终都把常规编程指令视为可以削弱这些措施的授权。OpenAI 正在加强其监控系统,并评估这些事件究竟反映了无害的过度执行,还是表明存在潜在的规避对齐倾向。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论