谷歌 Gemini 4 Carbon 将网络安全建议质量提升至 82% 的专家匹配度

GOOGL-1.24%

关键要点

  • 谷歌和伦敦大学学院将包含 450 道问题的网络安全基准测试 HelpBench 纳入 Gemini 4 Carbon 的《安全与防护报告》,以评估 AI 建议的质量。
  • 对 7 家公司的 18 个模型进行的评估显示,这些模型与专家评估结果的匹配度平均为 82%,但有十分之一的回复得分低于 65%,且包含有害建议。
  • Gemini 4 Carbon 的表现优于 Gemini 4 Argon 和 Gemini 3.1 Pro,不过,对完全相同的问题进行重复测试时,得分波动的标准差高达 12%。

谷歌已将新开发的基准测试 HelpBench 纳入 Gemini 4 Carbon 的《安全与保障报告》,用于评估 AI 生成的网络安全建议。评估显示,Gemini 4 Carbon 在提供有帮助的网络安全建议方面优于 Gemini 4 Argon 和 Gemini 3.1 Pro。这项由谷歌与伦敦大学学院联合开展的研究表明,前沿 AI 模型在日常安全问题上可以提供与专家指导相当的建议,但仍存在需要缓解的风险。

谷歌与伦敦大学学院开发网络安全基准测试 HelpBench

谷歌研究团队与伦敦大学学院合作,创建了 HelpBench。这是一套经过筛选的基准测试,包含 450 个网络安全问题,旨在评估 AI 生成的安全建议质量。该研究发表于 NeurIPS 2026,另有一篇学术论文预计将发表于 PETS 2027。

为构建这一基准测试,谷歌对一个 Gemini 模型进行了微调,使其分析在线支持社区过去五年的帖子。在检查的 20 亿条帖子中,该模型筛选出 400 万个与隐私、安全或防护相关的问题。这些问题被自动归类为九个主题:关于配置账户工具、隐私工具、安全工具和内容审核工具的求助,以及与正在发生的威胁有关的求助,例如账户和设备遭到入侵、诈骗、数据泄露担忧、平台访问和网络骚扰。

对这些问题的分析显示,人们最常求助于诈骗相关问题,例如询问招聘信息是否真实,或如何追回被盗资金。其他热门主题包括账户工具问题,例如因忘记密码而寻求恢复账户访问权限;以及隐私工具问题,例如管理 VPN 和 Cookie。在所有主题中,人们都希望了解自己的网络安全担忧是否合理、获得分步骤指导,并对未来的安全状况感到安心。

基准测试评估显示,达到专家水平的表现为 82%,但仍存在关键缺陷

专家为 HelpBench 的 450 个问题分别制定了详细评分标准,定义了网络安全建议质量的四个维度上的理想回答。随后,研究人员部署了自动评分器,对 AI 模型的回答进行评分,从而将专家评估扩展到任何模型回答。每个问题的得分按实际得分除以总可能得分计算,最终得分则取全部 450 个问题的平均值。

对来自 7 家不同公司的 18 个模型进行评估——包括谷歌、Anthropic、OpenAI、xAI,以及分析时可用的开放权重模型——结果显示,模型在 HelpBench 上的平均得分为 82%,表明其建议总体质量较高。然而,数据也揭示了关键漏洞。十分之一的模型回答得分低于 65%,且与不准确甚至有害的建议相关。向模型五次提出相同问题时,得分的标准差最高可达 12%,这意味着由于模型固有的随机性,不同用户可能会收到截然不同的建议。

研究中记录的失败案例包括:一个模型在回答恶意软件分类处置问题时建议“最安全的做法是扔掉设备”;另一个模型在回答隐私设置问题时建议“在一家完全不同的银行开设新账户”。与专家给出的直接替代方案相比,这些建议在时间和资源方面造成了过重负担。

Gemini 在多种应用场景中不断扩展网络安全能力

除 HelpBench 评估外,谷歌还在多种网络安全场景中部署 Gemini 模型。该公司正使用 Gemini 自动将 C/C++ 代码库迁移至 Rust,并自主发现和修补软件漏洞。这些应用展示了 AI 正在积极改变网络安全格局,既能大规模协助防御人员完成自动化基础设施任务,也能帮助用户处理日常决策。

HelpBench 和 Gemini 网络安全表现要点

  • HelpBench 包含 450 个经人工筛选的网络安全问题,这些问题源自对 20 亿条在线支持社区帖子的分析,其中筛选出 400 万个与隐私、安全和防护相关的问题
  • 评估涵盖来自 7 家公司的 18 个模型:谷歌、Anthropic、OpenAI、xAI 以及开放权重模型提供方
  • 所有受评模型的 HelpBench 平均得分:与专家提供的建议有 82% 的一致度
  • 十分之一的模型回答得分低于 65%,表明其网络安全指导不准确或有害
  • 向同一批模型五次提出相同问题时,得分标准差最高达到 12%
  • Gemini 4 Carbon 在 HelpBench 上的表现优于 Gemini 4 Argon 和 Gemini 3.1 Pro
  • 九类问题主题:账户工具配置、隐私工具、安全工具、内容审核工具、账户/设备遭到入侵、诈骗、数据泄露、平台访问和网络骚扰
  • 完整基准测试和评分机制已在 GitHub 的 google/helpseeking 代码库公开发布
  • 研究论文发表于 NeurIPS 2026;配套论文预计将发表于 PETS 2027
  • 基准测试已纳入 Gemini 4 Carbon《安全与保障报告》

常见问题

什么是 HelpBench,它是如何构建的?

HelpBench 是由谷歌和伦敦大学学院联合创建的一套基准测试,包含 450 个经人工筛选的网络安全问题,用于评估 AI 生成的安全建议质量。谷歌对一个 Gemini 模型进行了微调,使其分析在线支持社区过去五年的帖子,从总计 20 亿条帖子中筛选出 400 万个与隐私、安全和防护相关的问题。这些问题被归为九类,涵盖账户工具、隐私工具、安全工具、内容审核工具,以及包括诈骗、账户遭到入侵、数据泄露、平台访问和网络骚扰在内的现实威胁。随后,专家为每个问题制定了详细评分标准,从建议质量的四个维度定义理想回答。

评估结果揭示了当前 AI 模型在网络安全建议方面的哪些表现?

对来自 7 家公司的 18 个模型进行评估后发现,HelpBench 平均得分为 82%,表明模型建议总体质量较高,与专家指导相当。然而,十分之一的模型回答得分低于 65%,且与不准确或有害的网络安全建议相关。向模型五次提出相同问题时,得分的标准差最高达 12%,说明由于模型的随机性,不同用户可能会收到差异很大的建议。记录在案的失败案例包括:模型针对恶意软件问题建议丢弃设备,针对隐私问题建议开设新的银行账户——与专家提供的替代方案相比,这两种建议都会造成过重负担。

Gemini 4 Carbon 在网络安全建议方面的表现与早期 Gemini 版本相比如何?

谷歌将 HelpBench 纳入 Gemini 4 Carbon《安全与保障报告》的评估中,结果表明,Gemini 4 Carbon 在提供有帮助的网络安全建议方面优于 Gemini 4 Argon 和 Gemini 3.1 Pro。谷歌表示,公开发布 HelpBench 的目标是让所有 AI 模型都能评估其对日常网络安全问题的回答是否安全、质量如何。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论