微软研究人员于 9 月 10 日提交了一篇论文,介绍了环境探测式整理技术,旨在提高 AI Agent 的记忆准确性。该研究解决了一个根本问题:AI Agent 会记住错误、过时或模糊的信息,并在之后依据这些有缺陷的记忆采取行动。该技术使用单独的整理 Agent,在将数据提交至长线记忆前,针对真实世界环境验证信息,从而无需修改或重新训练主要任务 Agent。
微软介绍环境探测式整理技术
这篇题为《Grounding Agent Memory: Environment-Probing Curation for Enterprise Agents》的论文提出了一种方法:整理 Agent 在 AI Agent 将信息存储到长线记忆之前,针对运行环境再次核对信息。整理 Agent 以异步方式运行,仅对真实环境工具拥有有限的只读访问权限,从而能够验证事实并刷新候选记忆。主要任务 Agent 无需进行修改或重新训练,也无需了解验证过程。
多项基准测试中的性能提升
在 CLBench 数据库探索基准测试中,实施探测技术后,通过率从 39% 提升至 73%。每个问题的任务 Agent 成本从 3.38 美元降至 1.68 美元,降幅约为 50%。每个问题所需的查询次数从 8.8 次降至 4.7 次。根据具体任务不同,工具调用次数下降了 16% 至 75%。
研究人员在六个 APEX 管理咨询场景中测试了该方法。在六个测试环境中的五个环境里,与传统的记忆增强框架相比,探测方法带来了更高的每美元奖励回报。测试涵盖多个基础模型,包括 Sonnet 4.6 和 Opus 4.7,并且无需更改架构或重新训练底层任务 Agent。
当前基于轨迹的记忆系统存在局限
大多数现有系统使用基于轨迹的整理方式,即 Agent 完成任务后审查自身轨迹,并提取经验教训以供未来参考。任务执行期间发生的错误,或任务完成后环境发生的变化,都会被永久存储在 Agent 记忆中。微软的环境探测方法加入了验证步骤,以解决这一局限,使整理 Agent 能够在候选记忆永久保存前查找信息、验证事实并刷新候选记忆。
微软扩展 AI Agent 记忆研究组合
微软已经发布了多个解决 Agent 记忆挑战的项目。该公司此前发布了 STATE-Bench,这是一项旨在评估 Agent 如何维护和使用持久记忆的基准测试。其他项目包括 Memora(一种用于 Agent 记忆的架构框架)以及受人类启发的记忆系统研究。研究人员使用 GitHub Copilot 作为此次研究的近生产环境测试平台,该产品是微软的旗舰 AI 产品之一,已部署于数百万开发者的工作流中。
常见问题
AI Agent 记忆中的环境探测式整理是什么?
环境探测式整理是一种技术,由单独的整理 Agent 在 AI Agent 将信息提交至长线记忆之前,针对真实世界环境验证这些信息。整理 Agent 以异步方式运行,并以只读方式访问环境工具,在无需修改主要任务 Agent 的情况下核查事实并刷新候选记忆。
微软的技术让 AI Agent 在 CLBench 上的性能提升了多少?
在 CLBench 数据库探索基准测试中,微软的环境探测技术将通过率从 39% 提升至 73%。每个问题的成本从 3.38 美元降至 1.68 美元,每个问题所需的查询次数从 8.8 次降至 4.7 次。根据任务不同,工具调用次数下降了 16% 至 75%。
微软为这项研究使用了哪些测试环境?
微软在六个 APEX 管理咨询场景中测试了环境探测方法,并使用了 CLBench 数据库探索基准测试。研究人员使用 GitHub Copilot 作为近生产环境测试平台,并测试了多个基础模型,包括 Sonnet 4.6 和 Opus 4.7。