Meta推出可编辑自身记忆的上下文语言模型

关键要点

  • Meta 超级智能实验室和华盛顿大学于 9 月底推出了上下文语言模型。
  • 在 BrowseComp-Plus 基准测试中,CLM 的准确率提高了 11.4%,同时 FLOPs 减少了 21.5%。
  • 在 Qwen3.5-9B 上,强化学习使 BrowseComp-Plus 的准确率提高了 47.6%,同时 FLOPs 减少了 12%。

Meta 超级智能实验室和华盛顿大学在 9 月底发表于 arXiv 的一篇论文中介绍了上下文语言模型(CLMs)。该框架允许语言模型编辑自身的工作上下文,而不是依赖外部编排层。这项研究挑战了长时域 AI 代理的主流设计,即由固定的人工工程系统执行上下文管理。CLMs 将实时上下文镜像到一个可编辑文件中,模型可以使用普通代码对其进行重写、删除或重组,并在每一步执行前将更改同步到工作记忆中。这种设计体现了学习应当具备可扩展性,而不是依赖人为设计规则的原则,从而使自适应的记忆管理策略能够从模型自身涌现。

CLMs 在长时域基准测试中胜过固定执行框架

来自 Meta 超级智能实验室、华盛顿大学、MIT 和 Trillium Labs 的研究团队报告称,现有模型在具备零样本上下文编辑能力后,在长时域基准测试中胜过了最先进的上下文管理策略。在深度研究基准 BrowseComp-Plus 上,CLMs 的准确率提高了 11.4%,同时消耗的 FLOPs 减少了 21.5%,表现优于最强基线。在 EdgeBench(一套持续 12 小时的代码库优化测试)中,得分提高了 5%,FLOPs 减少了 59%。在一项持续 24 小时的多代码库代理群体任务中,在计算量相同的情况下,该方法的表现提升了 65%。在数学优化方面,它在多个问题上击败了 OpenEvolve 等专用进化工作流。模型表现出了多种行为,包括为多代理协作维护计分板、定义用于压缩历史记录的辅助函数,以及创建用于记录角色的内部笔记。

强化学习和后缀缓存复用提升效率

上下文编辑可以成为一种能够学习的内在模型行为。研究人员展示了两种实现路径:用户可以通过一条自然语言指令引导记忆策略,而技能演化循环则可以发现文本形式的可复用上下文管理流程,使诊断基准 ContextBench 的留出准确率最高提升 35.9 个百分点,同时减少计算量。作者为 CLMs 引入了一种在线强化学习方案,该方案基于逐步 GRPO,并采用成功门控的效率优势。将其应用于 Qwen3.5-9B 的深度研究任务后,BrowseComp-Plus 的准确率提高了 47.6%,同时使用的 FLOPs 减少了 12%。

服务仍然是瓶颈:任意编辑都会使标准前缀缓存失效,迫使系统对未更改的文本进行成本高昂的重新预填充。该团队共同设计了后缀缓存复用机制,在编辑后复用保留下来的令牌缓存状态,同时重新旋转位置编码。将其集成到 SGLang 后,在性能相当的情况下,服务器端计算量减少了 35%,任务准确率不受影响。作者指出了相关安全影响:可编辑上下文会创建一个通道,使提示注入或模型自行生成的指令能够跨轮次持续存在。未来的工作包括扩展 CLM 强化学习,以及将现有执行框架中的策略直接蒸馏到模型权重中。

常见问题

Meta 和华盛顿大学在 9 月底介绍了什么?

Meta 超级智能实验室和华盛顿大学在 9 月底发表于 arXiv 的一篇论文中介绍了上下文语言模型(CLMs)。该框架允许语言模型使用普通代码编辑自身的工作上下文。

CLMs 在 BrowseComp-Plus 基准测试中的表现如何?

在 BrowseComp-Plus 上,CLMs 的准确率提高了 11.4%,同时消耗的 FLOPs 减少了 21.5%,表现优于最强基线。在同一基准测试中,将强化学习应用于 Qwen3.5-9B 后,准确率提高了 47.6%,同时使用的 FLOPs 减少了 12%。

后缀缓存复用带来了怎样的效率提升?

集成到 SGLang 后,后缀缓存复用在性能相当的情况下将服务器端计算量减少了 35%。该优化没有影响任务准确率。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论