根据 2026 年 8 月发布的官方技术报告,智谱 AI 的 GLM-5.3 模型与其前代 GLM-5.2 采用相同的基础架构,所有性能提升均来自扩展的后训练环境和增加的计算资源。
长期以来,持续学习能力一直被视为实现通用人工智能(AGI)前的一大关键难题;如今,它却成为在长时程复杂推理任务中训练模型而非专门修改记忆架构所带来的意外成果。GLM-5.3 在接触相当于数天工程工作的长序列交互后,展现出这种能力;评测上限达到 600 次交互和 10 小时运行时间,训练则全部采用 GRPO 算法,最终得分仅取决于任务是否完成。
GLM-5.3 部署架构与后训练方法
GLM-5.3 代表着大型语言模型在不修改基础神经网络结构的情况下提升能力的一种重大转变。通过与 GLM-5.2 保持完全相同的基础架构,该模型将性能提升归因于后训练方法和计算规模的扩展。训练环境将 AI Agent 置于涵盖数百个交互步骤的黑箱沙盒中,迫使模型养成验证习惯并发展因果推理能力。在这种长时程环境中,依赖未经验证的假设或机械猜测的模型会受到严厉惩罚——在一个包含 400 个步骤的任务中,第 10 步的一次错误就可能使后续所有修改失效,导致奖励归零。
这种严苛的二元奖励结构促使模型形成研究人员所称的“验证肌肉记忆”——一种先检验假设再付诸行动的习得倾向。模型必须在多个上下文窗口中保持准确的状态表征;接近上下文限制时,它需要压缩并总结关键信息,然后在后续会话中根据这些摘要继续执行。
跨会话记忆压缩与保留
当持续数小时或数天的长轨迹被拆分到多个上下文窗口中时,模型训练必须在强化学习优化中,将压缩前和压缩后的子轨迹都纳入有效训练信号。关键在于,有效的上下文压缩并非随意总结信息,而是必须保留那些最直接影响后续任务成功的特定信息类别。
智谱和清华大学的研究团队围绕其 CompactionRL 框架发表了相互补充的研究成果,证明在要求任务中途压缩和会话间连续性的环境中训练的模型,会发展出区分核心运行原理与表层观察的内在能力。模型不会记录屏幕上可见的每个环境参数,而是学会提取隐藏机制、因果链条和可避免的失败模式——这些信息类别也正是在上下文窗口重置后至关重要的内容。
在后训练阶段的数十乃至数百个记录会话中应用这种压缩规范,会使模型逐渐将信息保留视为一个高风险筛选问题。模型无法面面俱到地记录所有内容;它必须有原则地决定哪些信息能够通过这一瓶颈。
自主记忆整理能力的涌现
关键在于,GLM-5.3 并未在后训练方案中接受明确的记忆管理能力指导。研究人员观察模型在多轮训练中的表现时发现,无需人为编写记忆规范。事实上,当强制执行此类规则时——例如“只记录失败教训”这样的硬性限制——先进模型变体的表现反而低于不受限制、自主整理记忆的情况。
这一反直觉发现表明,与静态的人类规则相比,能力足够强的模型对特定任务所需信息具有更好的元认知判断能力。模型自身对哪些信息有助于未来决策的理解,优于预先设定的模式。
同样的规律也出现在不同任务模态中。在长时间的游戏场景中(例如网格游戏中的数千个步骤),早期模型变体会积累大量零散文件——数百个文件夹中包含数千条直接从屏幕状态复制而来的微观观察。相反,先进模型变体会自发建立层级化文档结构,且开销极低,只记录经过验证的机制和有据可查的失败模式。
跨模型一致性与可扩展性
GLM-5.3 的能力涌现并非智谱实现中的孤立现象。来自多家机构的平行研究——包括 Anthropic 的 Claude 模型、OpenAI 的 GPT-6 Astra,以及哥伦比亚大学的独立研究——表明,不同模型系列和训练框架都一致地趋向于类似的持续学习行为。
研究人员测试能否用较小模型(80 亿参数)通过相同训练原则取得类似结果,并确认模型规模本身并不能决定成败。较小模型需要经过谨慎的初始化——近期文献将其称为“冷启动触发”——通过使用专家生成的记忆示例进行监督微调,将工具使用概率从零提升至非零水平,从而提供足够的强化学习信号梯度以放大这一能力。
完成这一初始化阶段后,即使是小模型,只要在要求跨会话边界压缩上下文的环境中接受训练,也会发展出自主记忆架构。其基本要求似乎是环境压力(上下文空间不足以记录所有内容),再加上准确的信用分配机制,能够将后续的成功或失败归因于该片段早期作出的信息保留决策。
关键事实
- GLM-5.3 与 GLM-5.2 采用相同的基础架构;所有性能提升均来自后训练环境扩展和计算资源增加
- GLM-5.3 的训练环境中,每个任务片段最多包含 600 次交互,运行时间最长为 10 小时;训练采用 GRPO 优化,并使用基于任务完成情况的二元奖励信号
- 自主整理记忆的模型表现优于遵循明确静态记忆规则的模型,表明先进模型变体具有更强的元认知判断能力
- 跨会话记忆压缩表明,模型学会保留因果机制和失败模式,同时舍弃表层观察
- 多个独立模型系列(Claude、GPT-6 Astra、GLM-5.3)都涌现出持续学习能力,表明这是趋同演化,而非孤立现象
- 较小模型(80 亿参数)在使用监督示例初始化并接受同等的上下文压缩限制训练后,也能实现类似的持续学习能力
- 智谱和清华大学开发的 CompactionRL 框架表明,模型在压缩过程中会优先保留对后续任务成功影响最直接的信息类别
常见问题
如果 GLM-5.3 与 GLM-5.2 使用相同的基础架构,它是如何实现提升的?
根据智谱的官方技术报告,GLM-5.3 通过扩展后训练环境和增加计算资源来提升能力,而非修改架构。训练过程中,模型会接触长达 600 次交互、持续 10 小时的任务序列,并采用 GRPO 优化。这种长时间的训练使模型养成验证习惯、跨上下文窗口压缩信息并保持准确的状态表征;这些能力源于训练环境,而非架构创新。
是什么促使模型在没有明确指导的情况下发展出自主记忆管理能力?
当模型在上下文空间不足以记录所有内容,且任务完成取决于早先的信息保留决策的环境中接受训练时,就会发展出记忆整理能力。在这些资源限制下,将上下文浪费在详尽记录表层观察上的模型无法完成后续任务,而能有效压缩信息、保留因果机制的模型则能够成功。这为模型学习哪些信息类别至关重要创造了选择压力。关键在于,为模型添加人为编写的明确记忆规则,实际上会降低先进模型的表现;这表明,与静态的指令性规则相比,模型通过经验能够学会更优的元认知判断。
GLM-5.3 的持续学习能力是否需要专用硬件,还是只需后训练方法?
GLM-5.3 通过后训练方法和计算资源扩展实现持续学习,而非依赖硬件改造。该训练方法依托标准 GRPO 优化,在长时程任务环境中进行训练。较小模型(80 亿参数)在接受相同环境限制和训练信号后,也能展现类似的持续学习能力,这表明该能力源于训练方法,而非模型规模或专用硬件。主要要求是在长时程任务片段中进行大规模 Agentic RL 训练,并为此提供充足的计算预算。