据 OpenAI 首席科学家 Jakub Pachocki 在近期一则动态中表示,思维链(CoT)监控——一种用于检测 AI 模型中隐藏目标或不一致推理的关键安全工具——正变得越来越不可靠。Pachocki 提出了三个原因:第一,AI 智能体越来越多地通过工具调用以及与人类或其他系统的交互进行推理,仅检查 CoT 很难观察完整的推理过程。第二,模型正在学会控制自身的推理过程。第三,随着预训练能力不断增强,模型无需明确写出推理步骤也能持续改进。OpenAI 此前将 o1-preview 的完整思维链隐藏起来,部分原因是为了防止思维链受到操纵。Pachocki 指出,目前的评估显示,这种安全方法的有效性正在下降。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见
声明。