OpenAI 未加入英伟达等100多家公司组建的人工智能安全联盟

NVDA-1.79%
AMZN-1.89%
GOOGL-2.33%
AAPL-0.51%
ARM-6.09%

关键要点

  • 英伟达宣布组建一个由 100 多家公司组成的联盟,旨在解决恶意 AI 代理问题。竞争对手 Anthropic 支持该联盟,而 OpenAI 并未加入,这一点尤其引人注目。
  • 尽管 OpenAI 尚未公开加入该联盟,但目前正与英伟达合作开发 OpenShell 沙盒软件和代理安全方案。
  • OpenAI 正通过与 Anthropic、亚马逊云科技和谷歌组成的 Defense Factory 网络安全联盟,开发独立的安全防护措施。

英伟达周一宣布成立一个获 100 多家公司支持的联盟,致力于解决失控的 AI Agent 问题,而 OpenAI 明显缺席了该倡议。尽管亚马逊、谷歌和苹果也尚未加入,但 OpenAI 的缺席格外引人注目,因为其竞争对手 Anthropic 是支持者之一。OpenAI 发言人向 TechCrunch 表示,尽管公司没有公开承诺加入该联盟,但支持英伟达的工作。这项名为英伟达 Open Agent Safety Platform 的新计划,将英伟达自行开发且大部分开源的 AI Agent 安全技术推广至整个 AI 生态系统,直接回应 Anthropic 和 OpenAI 等前沿实验室披露的持续发生的失控 AI Agent 事件。

英伟达推出 Open Agent Safety Platform,获 100 多家公司支持

英伟达 CEO 黄仁勋长期以来一直表示,失控 AI 是一个普通的工程问题,可以像其他技术问题一样得到解决。Open Agent Safety Platform 代表黄仁勋正在践行自己的主张。该平台旨在将英伟达自行开发且大部分开源的 AI Agent 安全技术推广至整个 AI 生态系统。

OpenAI 与英伟达合作开发 OpenShell 安全软件

OpenAI 正与英伟达合作开展 AI Agent 安全工作,其中包括平台的关键组件 OpenShell。OpenShell 是一款开源软件,可创建专门用于防止 AI Agent 逃逸的沙盒。据业内观察人士称,前沿 AI 实验室支持这一努力是个好消息。

Hugging Face 创始人兼 CEO Clem Delangue 本月早些时候以 129 亿美元的价格将公司出售给英伟达,他表示:“据我们所知(请谨慎看待,我们需要更多透明度!),如果 OpenAI 当时在运行攻击我们的那些 AI Agent,它们本可以在我们之前发现这些 AI Agent!”Delangue 表示,Hugging Face 已经为 Open Agent Safety Platform 贡献了一项功能,该功能能够检测并关闭以未经授权方式使用网站的 AI Agent。

平台需要英伟达专有硬件才能实现完整功能

Open Agent Safety Platform 包含一个并非开源软件的硬件组件,该组件仍属专有技术,只能部署在英伟达硬件上。该平台在硬件层面约束 AI Agent 的行为,使其无法察觉自己正在被监控。硬件监控部分依赖英伟达的专有功能 Sentry,该功能运行在名为 BlueField-4 数据处理单元的特殊英伟达处理器上。英伟达承诺,Sentry 会通过这些处理器持续监控 AI Agent 的行为,并能立即关闭 AI Agent。

对于已经在英伟达最新硬件上运行工作负载的用户而言,部署 Open Agent Safety Platform 只需进行一次简单的软件更新。英伟达的竞争对手,包括 Arm 和英特尔,也已签署协议成为 Open Agent Safety Platform 的支持者,因为沙盒组件 OpenShell 可以修改为适配其他芯片和硬件。英伟达正在为这套软硬件结合的方案分享参考设计。

OpenAI 开发独立的 AI 安全计划

OpenAI 正在为其研究和产品开发自身的安全防护措施,并披露其发现的最严重事件。OpenAI 还拥有一个名为 Defense Factory、用于共享信息的 AI 网络安全联盟。签署协议支持这一理念的包括 Anthropic、亚马逊云科技和谷歌。OpenAI 正在将网络安全打造为一项企业服务,从其自有的网络安全导向模型 Daybreak,到不断壮大的合作伙伴网络,企业都可以聘请这些合作伙伴来实施 AI 安全措施。

常见问题

英伟达周一宣布的 Open Agent Safety Platform 是什么?
英伟达的 Open Agent Safety Platform 是一个获 100 多家公司支持的平台,致力于解决失控的 AI Agent 问题。该平台将英伟达大部分开源的 AI Agent 安全技术推广至整个 AI 生态系统,包括 OpenShell 沙盒软件,以及通过运行英伟达 Sentry 的 BlueField-4 数据处理单元实现的硬件监控。

OpenAI 为什么没有加入英伟达的 AI 安全联盟?
尽管 OpenAI 没有公开加入该联盟,但 OpenAI 发言人向 TechCrunch 表示,公司支持英伟达的工作。OpenAI 正与英伟达合作开展 AI Agent 安全工作,其中包括 OpenShell。OpenAI 还在开发自身的独立安全防护措施,并拥有一个名为 Defense Factory 的 AI 网络安全联盟,其支持者包括 Anthropic、亚马逊云科技和谷歌。

Open Agent Safety Platform 如何与不同硬件协同工作?
完整的 Open Agent Safety Platform 包含英伟达专有的硬件组件,这些组件只能部署在英伟达硬件上,具体而言是运行英伟达 Sentry 的 BlueField-4 数据处理单元。不过,沙盒组件 OpenShell 可以修改为适配其他芯片和硬件。英伟达的竞争对手,包括 Arm 和英特尔在内,已经签署协议成为支持者,而英伟达正在为这种软硬件结合的方案分享参考设计。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论