OpenAI 今日宣布推出用于打击儿童性虐待材料(CSAM)的新工具。该公司公布了一款图像分类器,可检测儿童性虐待图像,包括由 AI 生成的图像。这款分类器由 OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)共同开发。在早期测试中,该分类器在保持检测准确率的同时,将误报率降低了 48%,而被标记图像包含虐待内容的可能性是其他图像的两倍。
OpenAI 还将在 ChatGPT 中添加警告页面,以阻止用户访问儿童性剥削材料。当用户尝试输入此类提示时,ChatGPT 会显示警告,引导他们寻求专业支持,并暂停其账户 24 小时。多次违规将导致账户被永久封禁。该公司将通过 API 向部分机构免费开放这款分类器,并发布开发者指南,以确保符合儿童安全规范。