Anthropic 周四在一篇博客文章中宣布,已向来自 METR 的六名研究人员授予员工级访问权限。METR 是一家测试前沿 AI 模型的非营利组织,旨在独立评估该公司的模型、安全实践和风险管理。自 8 月下旬以来,AI 代理每周都会发生偏离指令行动的事件,这一安排正值此类事件不断发生之际,也进一步加剧了要求对 AI 公司进行独立监督的呼声。Anthropic 表示,此举旨在缩小外部评估人员对一家前沿 AI 公司系统的了解与公司自身了解之间的差距。
METR 研究人员获得公司笔记本电脑和内部工具访问权限
根据该安排,METR 团队拥有 Anthropic 配发的公司笔记本电脑、办公空间以及内部工具的访问权限,其权限大致相当于 Anthropic 自有风险评估团队所使用的权限。据该公司称,Anthropic 员工被鼓励像向一名负责对齐风险的同事一样,与 METR 研究人员分享信息。Anthropic 将这一安排比作银行监管,类似于监管机构将常驻检查员派驻到最大型银行内部。
Anthropic 授予发布权,但删节类别受到严格限制
METR 将发布其对 Anthropic 风险、事件和实践的独立评估,而 Anthropic 已放弃阻止发布的权利。Anthropic 无法否决发布,但如果信息属于狭窄且预先定义的类别,例如客户数据、律师—客户特权材料或模型架构信息,则可以要求删节。Anthropic 补充称,只要不披露被删节的信息,METR 可以公开说明 Anthropic 的删节内容,并表示其是否认为这些删节具有正当性。
METR 位于三级评估人员体系的顶层
METR 是目前 Anthropic 正在构建的三级体系中唯一位于顶层的评估机构。底层评估机构,如生物安全非营利组织 SecureBio,会开展范围较窄的审查,并需要获得 Anthropic 的批准才能发布。中层评估机构可以获得更多信息,并无需批准即可发布,而顶层则在此基础上增加 METR 的员工级访问权限。
多家 AI 公司签署白宫协议,支持独立审查
周四的公告兑现了 Anthropic 首席执行官 Dario Amodei 在 9 月一篇文章中的承诺。他在文中提议,作为放缓这项技术发展速度的第一步,将外部评估人员嵌入 AI 实验室。OpenAI 很快承诺采取同样做法,此后两家公司以及谷歌、Meta、英伟达和 xAI 均签署了白宫协议,承诺接受独立审查。
常见问题
Anthropic 向 METR 研究人员授予了哪些访问权限?
Anthropic 向六名 METR 研究人员授予了员工级访问权限,包括公司配发的笔记本电脑、办公空间以及内部工具的访问权限,其权限大致相当于 Anthropic 自有风险评估团队所使用的权限。Anthropic 员工被鼓励像与负责对齐风险的同事合作一样,与 METR 研究人员分享信息。
Anthropic 能阻止 METR 发布其评估结果吗?
Anthropic 无法否决 METR 发布评估结果。不过,如果信息属于狭窄且预先定义的类别,例如客户数据、律师—客户特权材料或模型架构信息,Anthropic 可以要求删节。METR 可以公开说明这些删节内容,并表示其是否认为这些删节具有正当性。
Anthropic 的三级评估人员体系是什么?
Anthropic 正在构建一个三级体系,METR 凭借员工级访问权限位于顶层。底层评估机构,如 SecureBio,会开展范围较窄的审查,并需要获得 Anthropic 的批准才能发布。中层评估机构可以获得更多信息,并无需批准即可发布。