Echo 于 2026 年 11 月 18 日测试了 Anthropic 的 Claude Mythos 5.1、OpenAI 的 GPT-5.6 Sol(通过 Daybreak 访问)和 Z.ai 的 GLM-5.3,并针对三个广泛使用的开源项目进行测试。结果显示,前沿 AI 模型在漏洞检测方面存在明显分歧。在三个项目中发现的 121 个不同潜在问题里,只有一个被三个模型全部发现,83% 的问题仅被单个模型发现。这项研究提出了有关部署 AI 网络安全的根本性问题:攻击者和防御者可能依赖不同的模型,而这些模型得出的发现并不一致。
领先 AI 模型在漏洞检测方面的分歧
Echo 进行了受控对比,让三个 AI 模型分别针对相同的开源项目运行一次,并使用相同的漏洞搜寻框架和验证流程。九次运行共得到 446 条发现;去除重复项、不可触达的问题、已记录的行为和误报后,合并为 121 个不同的潜在问题。在所有受测项目中,没有任何模型表现出持续的优势,而且模型经常对严重程度分类意见不一,会将相同问题标记为严重、轻微,或根本不认为是漏洞。
Echo 安全研究员 Yuval Saggie 强调了这种分化带来的影响:“我们把完全相同的代码交给三个领先模型,它们返回的发现几乎完全不同。想想看,当攻击者使用一个模型搜寻漏洞,而防御者依赖另一个模型时,这意味着什么。防御者甚至可能完全看不到攻击者即将利用的漏洞。”
测试范围与高严重程度发现
受测的三个开源项目分别是:一个拥有超过 24,000 个 GitHub 星标的 Maven 库、一个代码量超过 80,000 行的 Maven 库,以及一个每月下载量超过 3.5 亿次的 npm 软件包。在这些成熟代码库中,模型发现了 30 多个高严重程度问题,并在数小时内通过测试确认。在被评为 High 或 Critical 的 55 条发现中,有 31 条经使用 GLM-5.3 进行的自动化概念验证测试确认属于 High 严重程度。
AI 漏洞发现工具的激增带来了双重挑战:开源维护者收到自动化 AI 系统提交的漏洞报告数量前所未有,与此同时,下游的验证、补丁开发和持续部署修复工作的负担也呈指数级增长。Echo 联合创始人兼 CTO Eylam Milner 表示:“AI 大幅降低了发现漏洞的难度和成本,但防范漏洞则是另一回事。运行多个前沿模型只是开始。你仍然需要验证发现、开发和测试补丁,并持续为数千个软件组件部署修复。随着 AI 加速漏洞发现,发现安全问题与真正修复问题之间的差距只会越来越大。”
模型可用性与安全影响
在漏洞搜寻领域,GLM-5.3 呈现出独特的风险特征。它采用开放权重,任何人都可以使用,而且防护限制少于其专有模型竞品。Anthropic 自己的研究发现,GLM-5.3 在构建漏洞利用方面接近 Claude Mythos Preview,这意味着威胁行为者和安全研究人员都能平等地使用同等的前沿能力。攻击者和防御者在工具访问方面的这种对等,削弱了防御者历来依赖的传统不对称优势。
Echo Frontier 是 Echo 针对这种分化推出的平台,它会运行多个前沿模型,在开源软件中搜寻此前未知的漏洞,随后验证发现、构建修复方案并进行测试。客户可通过 Echo 已维护的组件,在漏洞公开披露前收到补丁;Echo 还会与维护者协调,在上游部署永久修复。
关键事实
- 测试的三个模型:Anthropic 的 Claude Mythos 5.1、OpenAI 的 GPT-5.6 Sol(通过 Daybreak 项目访问)以及 Z.ai 的 GLM-5.3
- 测试日期:2026 年 11 月 18 日
- 受测项目:一个拥有 24,000 多个 GitHub 星标的 Maven 库、一个代码量超过 80,000 行的 Maven 库,以及一个每月下载量超过 3.5 亿次的 npm 软件包
- 九次运行共得到 446 条发现,合并为 121 个不同的潜在问题
- 漏洞发现一致率:121 个问题中,只有 1 个被三个模型全部发现
- 单模型发现率:83% 的问题仅被一个模型发现
- High 或 Critical 级别的发现:初步共 55 条,其中 31 条通过 PoC 测试确认属于 High 严重程度
- 仅漏洞搜寻成本:Claude Mythos 5.1 为 $363,GPT-5.6 Sol 为 $45,GLM-5.3 为 $40
- GLM-5.3 的可用性:开放权重,任何人都可以使用,防护限制少于专有模型
- 研究详情见:echo.ai/frontier-research
常见问题
为什么三个 AI 模型会在同一份代码中发现如此不同的漏洞?
研究没有说明造成差异的具体技术原因,但受控测试在三个模型中采用了相同的漏洞搜寻框架、代码版本和验证设置。模型经常对严重程度分类,以及相同的代码模式是否构成漏洞意见不一,这表明它们在训练、微调或推理方法上可能存在差异。Echo 的研究指出,这项对比是一项受控实验,而非完整的基准测试;研究结果反映的是归因于模型的差异,并未完整解释其成因。
GLM-5.3 采用开放权重且广泛可用,会带来哪些安全影响?
GLM-5.3 采用开放权重,任何人都可以使用,其防护限制少于 Claude Mythos 5.1 或 GPT-5.6 Sol。Anthropic 的研究发现,GLM-5.3 在构建漏洞利用方面接近 Claude Mythos Preview,这意味着威胁行为者与防御者都能平等地使用前沿模型。如果攻击者使用 GLM-5.3 发现漏洞,而防御者依赖另一种模型,防御者可能永远看不到攻击者利用的确切弱点。工具访问方面的这种对等,削弱了攻击者与防御者之间传统的安全不对称优势。
Echo 的 Echo Frontier 平台如何应对 AI 漏洞检测中的分化?
Echo Frontier 会运行多个前沿模型,在开源软件中搜寻此前未知的漏洞,随后验证发现、构建修复方案并进行测试。客户可通过 Echo 已维护的组件,在漏洞公开披露前收到补丁;Echo 还会与维护者协调,在上游部署永久修复。这种多模型方法承认没有任何单一 AI 模型能够全面检测漏洞,并通过冗余和披露前验证来弥补不足。