据 Anthropic 称,该公司于 10 月 30 日宣布,已训练 Claude 使用一种名为“自我评估”的技术,识别对话中潜在的滥用行为。Claude 会在完成回复后立即给出初步安全评估。
自 6 月以来,Anthropic 一直使用这种方法检测其他安全机制未能发现的滥用模式。这种方法效率更高,因为 Claude 已经读取了对话上下文;与针对特定危害类型设计的分类器不同,它依靠 Claude 自身的判断,预计准确性会随着模型能力的提升而提高。
相关快讯
Anthropic为Claude用户推出政府签发身份证件KYC核验
Anthropic 为 Claude 顾问版新增 FINNY、Jump 和 Conquest 集成
Anthropic 推出报告工具,帮助企业追踪 AI 支出的投资回报率