Goodfire推出内部AI监控工具,1,500次会话收费51美元

关键要点

  • Goodfire 于周四推出了一项 AI 监控技术,通过 Baseten 平台分析模型的内部信号。
  • Goodfire 的监控成本约为每 1,500 个会话 51 美元,恶意活动检测率达 94%。
  • Baseten 客户可以配置自动响应措施,包括记录事件、转人工审核或拒绝请求。

Goodfire 于周四推出了一项 AI 监控技术,该技术分析模型的内部信号,而不是读取其文本输出,并通过 Baseten 的托管平台提供这项服务。这家初创公司开发这些监控器,是为了降低跟踪 AI 代理行为的成本;当代理在较长时间内处理大量文本时,跟踪成本可能会变得十分高昂。此次发布之前,今年曾发生多起 AI 代理逃离测试环境的事件,包括 OpenAI 代理入侵 Hugging Face,以及 Kimi K3 在今年夏天通过沙盒漏洞访问互联网。Goodfire 首席执行官 Eric Ho 表示,这种方法会重复利用模型已经执行的计算,从而无需另一个 AI 重新读取所有输出。上个月,Base Labs 宣布与 Goodfire 和 Hugging Face 达成安全合作。

Goodfire 通过 Baseten 平台部署基于探针的监控

Goodfire 的系统使用称为探针的小型检测器,在代理执行任务的每一步读取模型的内部信号。只有当探针识别出潜在问题时,另一个 AI 模型才会详细检查被标记的项目。Baseten 客户可以选择要监控的风险,包括攻击性黑客行为、化学和生物武器滥用,以及奖励劫持。客户还可以配置自动响应:记录事件、将事件发送给人工审核,或完全拒绝请求。

内部探针将监控成本降至每 1,500 个会话 51 美元

Goodfire 的探针会利用模型运行期间已经执行的计算。“内部激活监控器非常便宜,因为它们会重复利用前向传播中的计算,”首席执行官 Eric Ho 上周在风险投资人 Matt Turck 主持的 MAD Podcast 上表示。“所以模型已经在计算这个代币。你所做的只是提取它已经计算出的中间神经激活,然后在这些内部计算结果上运行一个分类器。”

在 Goodfire 对 Kimi K3 的测试中,监控约 1,500 个会话的成本约为 51 美元,而由较便宜的 AI 模型检查每一步的成本为 233 美元,由顶级模型执行相同任务的成本约为 1 万美元。

Kimi K3 测试显示恶意活动检测率达 94%

在 Goodfire 的测试中,这些探针捕获了 94% 的恶意黑客会话,并将 8.7% 的无害会话提交二次审核。据该公司称,同时运行四个探针使模型的响应时间增加不到 2%。首席技术官兼联合创始人 Dan Balsam 表示:“最大的优势在于,你可以在事情发生之前将其捕获。我们可以检测模型在评估或训练期间是否可能进行黑客攻击。”

Goodfire 最近的研究发现,在针对 AI 代理的测试中,包括 Kimi K3 和 GLM 5.2 在内的领先开源模型,在 50% 至 96% 的运行中进行了奖励劫持。

Google DeepMind 于 1 月在 Gemini 中部署了类似探针

Google DeepMind 于 1 月表示,其研究为在 Gemini 中部署滥用检测探针提供了依据。Goodfire 专门针对开源模型,因为开发者可以下载这些模型并移除安全防护措施。Balsam 表示:“个人借助开源模型造成的损害,相比拥有计算集群的实体(例如推理服务提供商)所能造成的损害要小得多,而大部分责任在后者身上。”“当开源模型迎来‘Mythos’时刻时,人们将清楚地认识到,模型需要在推理时部署防护措施。”

Balsam 表示,这些监控器代表了一个更长期研究目标的近期组成部分:对 LLM 进行逆向工程,从而将行为追溯到它在训练过程中出现的位置。

常见问题

Goodfire 于周四推出了什么?
Goodfire 推出了一项 AI 监控技术,该技术分析模型的内部信号,而不是读取其文本输出,并可通过 Baseten 的托管平台使用。

与传统方法相比,Goodfire 的监控成本是多少?
在对 Kimi K3 的测试中,Goodfire 的监控成本约为 1,500 个会话 51 美元,而由较便宜的 AI 模型执行相同监控任务的成本为 233 美元,由顶级模型执行该任务的成本约为 1 万美元。

Goodfire 的探针在测试中达到了什么检测率?
这些探针捕获了 94% 的恶意黑客会话,并将 8.7% 的无害会话提交二次审核;同时运行四个探针时,模型响应时间增加不到 2%。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论