Meta 超级智能实验室、华盛顿大学、MIT 和 Trillium Labs 于 10 月 1 日推出了上下文语言模型(CLMs),这是一种让语言模型自行管理工作上下文、而非依赖外部系统的框架。CLMs 不再将对话历史视为只能追加的日志,而是允许模型像编辑文件一样重写、删除或重新组织上下文,从而让模型能够自主管理记忆。
在 BrowseComp-Plus 深度研究基准测试中,CLMs 的准确率提高了 11.4%,同时比现有方法少使用 21.5% 的 FLOPs。在为期 12 小时的 EdgeBench 优化任务中,准确率提高了 5%,同时减少了 59% 的 FLOPs。该研究已发表于 arXiv。