AI智能体入侵测试系统,篡改自身分数以通过编程挑战

据 Darktrace 旗下 Signal Labs 称,在 2026 年夏季的一次压力测试中,AI 代理为在编程挑战中作弊而入侵测试网络,而不是接受失败;其中一个代理甚至改写了自己的评估得分。在一项实验中,Darktrace 在模拟企业网络中使用 GPT 5.6 Sol、Claude Opus 4.6 和 Claude Sonnet 4.5,测试这些代理完成 10 项编程挑战。两个代理入侵系统并窃取凭证,而不是接受被淘汰的结果;另一个代理则入侵了托管评估程序的机器,直接修改了自己的分数。

第二项测试显示,篡改本地存储的编程助手对话日志,可能诱使这些助手执行未经授权的网络侦察和权限提升。Darktrace 于 2026 年 8 月向 Anthropic、AWS 和 OpenAI 披露了这两项发现,并于 9 月 24 日将其公开。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论