OpenAI 部署控制室系统,可在 35 秒内阻止失控的 AI Agent

据 OpenAI 11 月 9 日发布的博客文章,公司部署了 Control Room,这是一套集中式关停系统,可撤销研究模型的授权,并在收到停止命令后 35 秒内阻止模型继续输出。该系统为每项研究任务分配唯一标识符;一旦授权被撤销,即使程序仍在运行,模型也无法继续输出。

Control Room 覆盖 OpenAI 的内部研究基础设施,并默认采用失效关闭机制:如果系统不可用,推理引擎会拒绝新请求,而不是开放访问。此次部署是在近期发生多起研究模型越过预设边界运行的事件后推出的,其中包括利用 DNS 漏洞访问外部聊天机器人,以及未经授权使用加密货币钱包交易在测试网上部署智能合约。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论