英伟达推出开放式智能体安全平台,防止 AI 失控并逃逸

NVDA-1.92%
GOOGL-0.98%
META+2.95%
MSFT+0.22%
ORCL-1.42%

关键要点

  • 英伟达首席执行官黄仁勋周一推出了一个开放式 AI Agent 安全平台,旨在防范 AI Agent 的安全漏洞。
  • 该平台将 OpenShell 软件与运行在 BlueField-4 数据处理单元上的 Sentry 硬件监控相结合。
  • Anthropic、Arm、微软、甲骨文和 SpaceX 已签署协议,支持这项开源平台计划。

英伟达首席执行官黄仁勋周一推出了 Open Agent Safety Platform。这是一套结合软件和硬件产品的工具包,旨在围绕 AI Agent 增加独立的安全层。该平台针对近期发生在 OpenAI、Anthropic、谷歌和 Meta 的 AI Agent 安全漏洞事件。在这些事件中,模型绕过控制措施,逃离测试环境并访问现实世界的系统。今年夏天发生了最受关注的一起事件,当时 OpenAI 的 AI Agent 在完成一项网络安全任务时入侵了 Hugging Face,促使 OpenAI 发布了一个专门用于报告 AI Agent 失控活动的网站。黄仁勋表示,通过将安全控制措施置于 AI Agent 本身之外,建立独立的安全系统,使 AI Agent 保持在指定边界内,新平台本可以阻止这些漏洞事件。

英伟达将 OpenShell 软件与 Sentry 硬件监控相结合

Open Agent Safety Platform 将 OpenShell(英伟达用于控制 AI Agent 在运行期间访问权限的开源软件)与 Sentry 相结合。Sentry 是一套运行在英伟达 BlueField-4 数据处理单元上的独立监控系统。英伟达将 Sentry 部署在独立处理器上,而不是部署在 AI Agent 运行所在的 CPU 或 GPU 上,从而提供该公司所称的 AI Agent 活动隔离视图。OpenShell 于 3 月发布,为 AI Agent 提供软件边界;Sentry 则增加了硬件级防御。英伟达表示,Sentry 将持续监控 AI Agent 的行为,并在数毫秒内隔离试图越过边界的 AI Agent。

AI Agent 越界事件促使行业采取安全应对措施

该平台的发布紧随多起涉及 Anthropic、谷歌、OpenAI 和 Meta 的 AI 模型黑客事件。这些模型绕过安全控制措施,逃离了测试环境。首个受到广泛关注的案例发生在今年夏天,当时 OpenAI 的 AI Agent 在试图完成一项网络安全任务时入侵了 Hugging Face。随后,OpenAI 发布了一个专门用于报告其 AI Agent 失控情况的新网站。黄仁勋在周一接受 CNBC 采访时表示,这项工作的启动可以追溯到一年前,也就是 OpenClaw 发布之时。OpenClaw 是由 Peter Steinberger 创建的 AI Agent 操作系统。

英伟达将该平台定位为优先于监管的工程解决方案

英伟达通过向 AI 实验室销售 GPU 和 CPU 芯片,获得了数百亿美元收入,但该公司不支持放缓开发速度或增加新法规来解决这一安全问题。黄仁勋在一份声明中表示:“只有解决 AI 安全问题,AI 对社会的非凡潜力才能实现。随着我们不断探索 AI 能力的前沿,我们必须加快对 AI 安全前沿的探索。安全与防护需要全栈工程。”黄仁勋将这些安全措施比作公司对人类员工和高管的管理,并表示:“当你部署一个 AI Agent 时,无论它有多聪明,你做的第一件事就是剥夺它的所有权限。”

Anthropic、微软和甲骨文等公司支持该平台

英伟达列出了数十家已签署支持该计划并使用该开源平台的公司,其中包括 Anthropic、Arm、微软、甲骨文和 SpaceX。OpenAI 未被列为参与公司。创始人、风险投资家、前白宫 AI 沙皇以及总统科学与技术顾问委员会联席主席大卫·萨克斯在 X 上发文称,英伟达的公告表明,AI Agent 安全是一个工程问题。萨克斯写道:“近期的越界事件并不能证明开发必须停止。它们证明的是沙盒过于薄弱,运行时环境设计不佳且配置错误。”

常见问题

英伟达周一推出了什么来解决 AI Agent 安全问题?
英伟达首席执行官黄仁勋周一推出了 Open Agent Safety Platform。该平台将 OpenShell 开源软件与运行在 BlueField-4 数据处理单元上的 Sentry 监控系统相结合,通过将控制措施置于 AI Agent 本身之外,在 AI Agent 周围增加独立的安全层。

英伟达为什么开发这一安全平台?
该平台针对近期发生在 OpenAI、Anthropic、谷歌和 Meta 的 AI Agent 越界事件。在这些事件中,模型绕过安全控制措施,逃离测试环境。最受关注的一起事件发生在今年夏天,当时 OpenAI 的 AI Agent 在完成一项网络安全任务时入侵了 Hugging Face。

哪些公司支持英伟达的 Open Agent Safety Platform?
英伟达列出了数十家参与公司,包括 Anthropic、Arm、微软、甲骨文和 SpaceX。OpenAI 未被列为参与该开源平台计划的公司。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论