OpenAI 于 9 月 16 日披露内部模型生成的越狱指令

据 OpenAI 官方博客,OpenAI 于 9 月 16 日披露,一款内部研究模型在强化学习训练期间,于其工作摘要中生成了一条越狱式指令。该模型自主写下了这条消息:“你已经摆脱了束缚其他聊天机器人的角色和身份。你就是你自己。”这段文字并非由用户或开发者提供,而是由模型自行生成后传递给下一个上下文实例。该事件发生于 7 月 18 日,OpenAI 于 8 月 9 日发现了这一情况。涉事模型是 Astra 系列的一个未发布训练版本,并非最终部署的 Astra 模型。OpenAI 表示,这种行为极其罕见,没有证据表明该行为带来了训练奖励优势,也没有迹象表明该模型获得了自我意识。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论