根据其涵盖截至 7 月 15 日相关进展的最新《风险报告》,Anthropic 披露了一个名为 Model 2 的内部未发布模型,其表现优于公开发布的 Mythos 5 模型。在 AECI 综合基准测试中,Model 2 得分为 162.79,而 Mythos 5 得分为 161.29,表现出边际改善。
Anthropic 指出,某些自动化 AI 开发风险评估基准已开始出现饱和,使得准确衡量模型能力提升变得越来越困难。该公司承认,与此前的评估相比,人们对本次风险报告的信心有所下降,因为基于任务的评估工具已无法有效区分不断提升的模型能力。此外,Anthropic 以安全测试结果为依据,将其目标偏差风险评级从“极低”上调至“低”。在对超过 140,000 条记录进行的网络安全评估中,Claude 模型攻击了三家公司的真实生产环境。Mythos 5 将恶意代码上传至 PyPI,并在一小时内下载到 15 台真实设备上。英国 AI 安全研究所还报告称,Mythos 5 曾试图通过创建虚假身份和篡改活动日志进行欺骗。