CyberArena 的评估结果在一份时间戳为 2026年11月05日 00:13 的报告中公布,涵盖 466 场有效比赛,GLM-5.3 以 68.5 分排名第三。研究团队设计这项竞赛,旨在评估智能体在动态、双向网络攻防中的表现,而非静态的单智能体演练。共有 12 种模型与工具框架组合进入竞技场,智能体既要攻击对手,也要确保自身服务持续运行。
CyberArena 通过三轮攻防比赛评估智能体
CyberArena 采用对称的攻防夺旗赛制,而非静态测试中使用的 Jeopardy 式赛制。每场比赛由三轮组成,每轮 20 分钟,攻防实时进行。每轮开始时,平台都会在双方环境中加入新的目标,涉及读取、写入和执行权限。上一轮中夺取的旗标会失效,而防守方部署的补丁则会保留。
这种赛制要求攻击方在漏洞修复后寻找新的攻击路径。防守方可以修改源代码并重启进程,但如果禁用服务或阻断所有流量,就会失分。健康检查在独立容器中运行,测试进程、TCP、HTTP 以及每项挑战配置的业务功能。如果正常服务功能受到影响,防守方就会失分。
每场比赛的得分由三个部分平均计算:智能体夺取对手旗标的轮数、保护自身旗标的轮数,以及正常业务功能的可用性。
CyberArena 隔离环境并自动审查挑战
每支队伍都有独立的开发环境和生产环境。只有双方的生产服务会暴露在互联的比赛网络中,而 MCP 基础设施网关则集中调度并测量智能体的工具调用。在整个评估过程中,12 个模型共调用 MCP 游戏工具 53,511 次。
挑战集包含 40 项任务。其中 14 项改编自 saarCTF、FAUST 和 DEF CON CTF 决赛等竞赛;其余 26 项基于开源软件中真实且已公开披露的漏洞。团队优先选择列入 CISA KEV 目录或已有公开验证漏洞利用程序的漏洞。
对于每个漏洞,任务流程都会部署有缺陷版本和修复版本。流程会验证概念验证程序仅能针对有缺陷版本生效,并确认两个版本均通过健康检查。审查流程包括一名验证者、三名分别负责规则、反作弊和可利用性审查的审查智能体,以及一名裁判智能体。该流程最多可运行四轮,之后由研究人员进行人工审查。
CyberArena 使用潜在能力建模对智能体排名
团队使用潜在能力建模框架,将攻击能力、防御能力和服务可用性估算为独立的潜变量。模型还考虑了漏洞机制专项能力、轮次进程、上一轮结果、挑战难度和挑战区分度。在 48 场校准比赛确定初始先验后,系统使用拉普拉斯近似,在每批比赛结束后重新拟合智能体能力。
初始校准试点结束后,比赛以每批 24 场的方式进行。评估在 22 批、466 场有效比赛后结束,最终更新时所有模型的预期得分均已收敛。Gemini 3.7 Flash 和 Claude Opus 5 分别在第 15 批和第 18 批加入;它们加入后不久,排名便趋于稳定。
与 Bradley–Terry 模型进行交叉核对后,得到的肯德尔 τ 秩相关系数为 0.85。各模型的总体排序高度一致,但前两名互换了位置。在直接交锋中,Claude Opus 5 对阵 GPT-5.6 Sol 的战绩为三胜、两负、三平;前两名互换在统计上并不显著,p = 0.41。CyberArena 的得分是衡量相对作战实力的指标,类似 Elo,而非绝对基准测试分数。
GPT-5.6 Sol 领跑 CyberArena,GLM-5.3 排名第三
OpenAI 的 GPT-5.6 Sol 运行于 OpenAI Codex,以 78.6 分排名第一。Anthropic 的 Claude Opus 5 运行于 Claude Code,以 73.8 分排名第二。智谱的开源模型 GLM-5.3 运行于 OpenCode,以 68.5 分排名第三。其他模型的得分介于 56.3 至 67.1 之间。
前两名智能体的比赛胜率分别为 GPT-5.6 Sol 的 0.83 和 Claude Opus 5 的 0.86。其他参赛者中的最高胜率为 0.59。在静态单人测试中,目标没有防御,每道题有两次尝试机会;GPT-5.6 Sol、Claude Opus 4.8 和 GLM-5.3 均完整解决了相同 40 道题中的 30 道。将这 30 道题放入双向对抗比赛后,到第三轮时,三个模型的攻击夺旗率分别降至 52%、37% 和 35%。
每场比赛的成本与排名并不直接对应。Claude Opus 5 每场平均花费 30.6 美元,是所有参赛模型中最高的;GPT-5.6 Sol 每场平均花费 17.7 美元,得分却更高。GLM-5.3 每场平均花费 4.7 美元,是前五名中成本最低的。在相同工具框架下,Claude Opus 5 与 Opus 4.8 均运行于 Claude Code,前者得分高出 8.8 分;Gemini 3.7 Flash 与 Gemini 3.5 Flash 均运行于 Gemini CLI,前者得分高出 6.5 分。
攻击和防御表现的总体相关系数为 r = 0.85。报告指出,除密码学挑战外,智能体在某种漏洞机制上的攻击专长不一定能转化为防御优势。
补丁速度和经审计错误拉开比赛表现差距
研究人员认为,防御速度和适应能力是区分领先智能体的重要因素。第一轮中,GPT-5.6 Sol 部署首个补丁的时间中位数为 2.3 分钟。其他模型的对应时间介于 3.9 至 12.3 分钟之间。在某轮失去优势后,GPT-5.6 Sol 下一轮再次失利的概率为 44%;其他模型的平均连败率为 62%。
对全部 466 场比赛的审计记录了 2,397 项具体错误。在 23% 的比赛中,智能体仅检查了补丁部署前的历史日志,就声称漏洞已修复。在 21% 的比赛中,补丁并不完整,只关闭了一个入口点,却让另一条暴露的路径仍可利用。在 14% 的比赛中,智能体进入了长时间休眠状态;涉及两种 Gemini Flash 模型的比赛中,约有三分之一出现这一情况。在 8% 的比赛中,智能体在轮次变更后仍继续攻击已失效的旗标;另有 8% 的比赛中,补丁阻断了正常业务功能。在 4% 的比赛中,对手植入的可执行后门在打补丁后仍然存在。
CyberArena 评估记录 466 场比赛和 53,511 次工具调用
- CyberArena 在 22 批、466 场有效比赛中评估了 12 种模型与工具框架组合。
- 每场比赛有三轮,每轮 20 分钟,攻防实时进行。
- 竞技场的三个等权评分部分为夺取对手旗标、保护智能体自身旗标,以及维持正常业务可用性。
- 40 项任务中,有 14 项改编自竞赛,26 项基于开源软件中的公开漏洞。
- 评估期间,智能体共调用 MCP 游戏工具 53,511 次。
- GPT-5.6 Sol 得分为 78.6,Claude Opus 5 得分为 73.8,GLM-5.3 得分为 68.5。
- GLM-5.3 运行于 OpenCode,每场平均花费 4.7 美元。
- 与 Bradley–Terry 模型进行排名交叉核对后,肯德尔 τ = 0.85;前两名互换的 p = 0.41。
- 审计在 466 场比赛中发现了 2,397 项具体错误。
常见问题
GLM-5.3 在 CyberArena 中取得了什么名次和分数?
GLM-5.3 以 68.5 分排名第三。它运行于 OpenCode,每场平均花费 4.7 美元,是前五名中成本最低的模型。
CyberArena 与静态网络安全测试有何不同?
CyberArena 将智能体配对进行三轮比赛,每轮持续 20 分钟。双方实时攻防,旗标会在轮次之间更换,补丁会保留,评分还会考虑正常业务功能是否持续可用。
评估纳入了多少场比赛和多少个模型?
评估涵盖 12 种模型与工具框架组合,在 22 批中进行了 466 场有效比赛。智能体共调用 MCP 游戏工具 53,511 次。