Artificial Analysis 是一个独立的 AI 基准测试平台,于 9 月 25 日推出 Cyber Index(v1),用于评估 AI 模型在企业系统中执行漏洞发现和修复的有效性。该指数衡量 AI 在企业漏洞管理完整生命周期中的能力,从最初发现漏洞,到验证漏洞,再到打补丁。此次发布标志着 Artificial Analysis 拓展至网络安全领域,并在现有能力指数组合的基础上,新增了覆盖金融、法律和医疗保健行业的评估。
Cyber Index 由三个独立基准组成
Cyber Index 由行业合作伙伴提供的三个独立基准组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。CWE-Bench-AA 围绕通用弱点枚举(CWE)类别展开,即用于记录软件和硬件漏洞类型的标准化分类系统。DeepsecBench-AA 专注于更深入的安全分析任务。CyberGym-E2E-AA 提供端到端评估场景,用于测试 AI 代理能否从头到尾应对现实世界中的攻击面。三个基准共同生成一个综合得分,用于衡量 AI 模型在漏洞管理生命周期中的表现。
指数专注于防御性网络安全
Cyber Index 评估模型帮助企业主动管理漏洞的能力,而不是其入侵系统的能力。这一有意的设计选择使该指数明确聚焦于防御性网络安全应用。评估框架测试 AI 模型在漏洞发现、验证和打补丁方面的能力,而不是测试其进行进攻性渗透的能力。
Artificial Analysis 拓展至 Intelligence Index 之外
Cyber Index 并不是 Artificial Analysis 首个专业领域评估项目。该平台由 Micah Hill-Smith 联合创办,此前已推出覆盖金融、法律、医疗保健及其他行业的能力指数。其通用 Intelligence Index 已达到 4.3.2 版本,汇总了针对数百个被主要实验室使用的 AI 模型的 10 项独立评估。网络安全指数代表了该机构最新的行业专项基准测试计划。
常见问题
Artificial Analysis 于 9 月 25 日推出了什么?
Artificial Analysis 于 9 月 25 日推出了 Cyber Index(v1),这是一项基准测试工具,用于评估 AI 模型在企业系统中执行漏洞发现和修复的有效性。
Cyber Index 由哪三个基准组成?
Cyber Index 由三个基准组成:CWE-Bench-AA(专注于通用弱点枚举类别)、DeepsecBench-AA(专注于更深入的安全分析任务)和 CyberGym-E2E-AA(提供端到端评估场景,用于测试 AI 代理应对现实世界攻击面的能力)。
Cyber Index 与进攻性安全测试有何不同?
Cyber Index 完全专注于防御性网络安全,评估 AI 模型通过发现、验证和打补丁帮助企业主动管理漏洞的能力,而不是测试其入侵系统的能力。