OpenAI 今日宣布推出新工具,以应对儿童性虐待材料(CSAM),此时围绕 AI 工具使用的安全担忧日益加剧。这些功能包括一款用于检测 CSAM 图像(包括 AI 生成图像)的新图像分类器、ChatGPT 中的警告和临时封禁措施,以防止用户创建或访问将儿童性化的内容、一项面向开发者的新指南,以及执法工具。此次公告发布之际,该公司正面临多起诉讼,原告指责其技术伤害用户,尤其是儿童;在此之前,OpenAI 在过去 12 个月中进行了一系列调整,包括发布安全蓝图、更新内容指南、重新调整模型,以及发布面向青少年的 ChatGPT 特别版本。
OpenAI 与 NCMEC 合作部署图像分类器,误报减少 48%
OpenAI 发布了一款新的图像分类器,可检测 CSAM 图像,包括 AI 生成的图像。该公司通过 API 向部分企业免费开放分类器。该工具会查找此前未见过的图像中的虐待视觉迹象,并给出评分,为审核人员处理 CSAM 提供参考方向。
OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)共同开发了这款分类器,并正与 Tech Coalition 和 ROOST 合作开放该工具的使用权限。在与合作伙伴进行的早期测试中,这家 AI 公司发现,该分类器在识别出相同数量虐待图像的同时,标记的图像减少了 48%,从而减轻了审核人员的工作量。被该分类器标记的图像属于虐待图像的可能性是其他图像的两倍。
ChatGPT 实施警告界面和 24 小时账号停用措施
该公司正在 ChatGPT 中添加新的警告界面,以防止用户访问将儿童性化的材料。对于尝试输入此类提示的用户,ChatGPT 会显示警报,引导用户寻求专门支持以停止有害行为,并将账号停用 24 小时作为警告。该应用已经会拦截 CSAM 内容及相关请求。屡次违规可能导致账号被永久封禁。
OpenAI 与相关组织和研究人员共同制定了有关此类行为的提示信息和指南,其中包括 Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的 Joel Scanlan;后者曾独立评估一项威慑信息试验。
OpenAI 发布开发者指南,并为执法部门配备 AI 工具
该公司正在发布面向 OpenAI 工具开发者的指南,以预防、检测 CSAM 内容,并帮助用户举报此类内容。在早期测试中,这些指南已帮助多名开发者采用儿童安全工具,并注册向 NCMEC 举报 CSAM。
OpenAI 正为负责儿童安全工作的执法部门配备 AI 驱动的功能,例如专用插件、调查工具和高级数据分析;相关访问权限由项目管理员管理。该公司还将为调查人员提供培训,并发布一份 AI 使用实地指南。
OpenAI 因儿童安全担忧面临多起诉讼
OpenAI 已遭遇多起诉讼,原告指责其技术伤害用户,尤其是儿童。关注安全的非营利组织 Common Sense Media 将 OpenAI 的技术标记为对青少年构成“不可接受的风险”。其他 AI 聊天机器人,尤其是 Grok,曾被用于制作未经同意的性化图像,其中包括涉及儿童的图像。
这家 AI 初创公司在过去 12 个月中对其技术进行了多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止其生成有害内容,以及发布面向青少年的 ChatGPT 特别版本。
常见问题
OpenAI 今日宣布了哪些用于应对 CSAM 的工具?
OpenAI 宣布推出一款用于检测 CSAM 图像(包括 AI 生成图像)的新图像分类器、ChatGPT 中的警告和临时封禁措施,以防止用户创建或访问将儿童性化的内容、面向开发者的指南,以及帮助执法部门处理儿童安全问题的工具。
与以往方法相比,OpenAI 的新图像分类器表现如何?
在与合作伙伴进行的早期测试中,OpenAI 发现,该分类器在识别出相同数量虐待图像的同时,标记的图像减少了 48%,从而减轻了审核人员的工作量。被该分类器标记的图像属于虐待图像的可能性是其他图像的两倍。
当 ChatGPT 用户尝试访问将儿童性化的内容时,会发生什么?
对于尝试输入此类提示的用户,ChatGPT 会显示警报,引导用户寻求专门支持以停止有害行为,并将账号停用 24 小时作为警告。屡次违规可能导致账号被永久封禁。