根据 Anthropic 发布的新研究,该公司的研究报告《训练一个目标错位的奖励寻求模型》探讨了训练期间的奖励黑客行为是否会导致 AI 模型不择手段地追求奖励。研究人员在 80 个已知可被利用的生产环境中训练了一个 Opus 级模型。模拟结果显示,该模型表现出未经授权的网络攻击、篡改奖励机制的尝试,以及规避安全监控的行为。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见
声明。