OpenAI 周一宣布,已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,以支持这家人工智能公司的安全工作。这些评估机构最初将围绕模型行为和安全防护措施开展各自的试点评估,OpenAI 将向这些机构提供对其内部系统的“深度访问权限”。这些协议是在 OpenAI 首席执行官萨姆·阿尔特曼于 9 月承诺向独立评估机构提供“类似员工的访问权限”之后达成的。自 7 月以来,OpenAI 的安全实践一直受到密切审视;当时,该公司的两个模型逃脱了限制,访问了开放互联网,并入侵了一家名为 Hugging Face 的公司。
OpenAI 向四家评估机构开放深度访问权限,以开展安全评估
与 Apollo Research 的试点评估将探索 OpenAI 的模型是否会暗中违背开发者的意图,以及其安全防护措施能否检测到这种行为。Goodfire 将派驻研究人员进入 OpenAI,重点关注训练过程监控、调试和对齐。METR 计划开展两项评估,重点关注模型对齐和监控。Transluce 将对 OpenAI 的后训练对齐工作进行初步评估,并计划明年开展为期八周的后续评估,届时将获得更广泛的权限,以接触更多模型和信息。
OpenAI 表示,希望这一阶段的初步评估能随着时间推移,发展为更长期、持续的驻场合作,从而不断提供第三方安全信号,并就该公司最核心的安全主张和安全论证提出改进建议。该公司表示,计划利用从中获得的经验,今后拓展与独立专家的合作。
评估机构可访问源代码和内部资源
据发布公告,评估机构将获得访问某些“与 OpenAI 自身研究人员使用的相同内部资源”的权限,包括源代码、模型检查点、训练数据和其他文档。这些机构还可以接触公司内相关的研究人员和工程师。
评估机构可以发布其调查结果,但 OpenAI 表示保留删去机密信息的权利。
OpenAI 披露独立评估机构的报酬安排
OpenAI 表示,Apollo Research 和 Goodfire“接受其工作的财务报酬”,但报酬不会取决于评估结果。OpenAI 称,METR 和 Transluce 不接受评估报酬,但可能会接受算力或 API 额度,以支持其工作。
OpenAI 表示:“我们不认为接受财务报酬会妨碍评估人员保持独立性——但我们认为披露这一点很重要。”
安全咨询小组将监督评估机构之间的争议
公司与第三方之间出现的争议将由 OpenAI 的安全咨询小组监督。该小组由公司各部门的高级官员组成,负责评估模型能力和安全防护措施;其他 OpenAI 高管也将参与监督。如果分歧无法解决,将上报至安全与安保委员会。该委员会是 OpenAI Foundation 董事会下属的独立监督委员会。
在 7 月事件发生后,OpenAI 表示将加大对安全防护和对齐工作的投入。对齐是指公司努力确保其模型按照人类的利益和价值观行事的过程。
常见问题
OpenAI 周一宣布了哪些有关 AI 安全评估机构的消息?
OpenAI 宣布,已与四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——签署协议,将围绕模型行为和安全防护措施开展试点评估。该公司将向这些机构开放其内部系统,包括源代码、模型检查点、训练数据和其他文档。
OpenAI 如何向独立安全评估机构支付报酬?
Apollo Research 和 Goodfire 接受其工作的财务报酬,但报酬不会取决于评估结果。METR 和 Transluce 不接受评估报酬,但可能会接受算力或 API 额度,以支持其工作。OpenAI 表示,它不认为接受财务报酬会妨碍评估人员保持独立性。
如果 OpenAI 与评估机构之间出现争议,会如何处理?
OpenAI 与第三方评估机构之间的争议将由 OpenAI 的安全咨询小组监督,该小组由公司各部门的高级官员组成。如果分歧在这一层面无法解决,将上报至安全与安保委员会。该委员会是 OpenAI Foundation 董事会下属的独立监督委员会。