微软开发了一项环境探测技术,以提高 AI Agent 的记忆准确性

MSFT+0.22%

关键要点

  • 微软研究人员于 9 月 10 日提交了一篇论文,介绍了一种用于 AI Agent 记忆的环境探测式整理技术。
  • 在 CLBench 基准测试中,该技术将通过率从 39% 提高至 73%,并将每个问题的成本降低约 50%。
  • 微软在六个 APEX 咨询场景中测试了该方法,适用于多个基础模型且无需更改模式。

微软研究人员于 9 月 10 日提交了一篇论文,介绍了环境探测式整理技术,旨在提高 AI Agent 的记忆准确性。该研究解决了一个根本问题:AI Agent 会记住错误、过时或模糊的信息,并在之后依据这些有缺陷的记忆采取行动。该技术使用单独的整理 Agent,在将数据提交至长线记忆前,针对真实世界环境验证信息,从而无需修改或重新训练主要任务 Agent。

微软介绍环境探测式整理技术

这篇题为《Grounding Agent Memory: Environment-Probing Curation for Enterprise Agents》的论文提出了一种方法:整理 Agent 在 AI Agent 将信息存储到长线记忆之前,针对运行环境再次核对信息。整理 Agent 以异步方式运行,仅对真实环境工具拥有有限的只读访问权限,从而能够验证事实并刷新候选记忆。主要任务 Agent 无需进行修改或重新训练,也无需了解验证过程。

多项基准测试中的性能提升

在 CLBench 数据库探索基准测试中,实施探测技术后,通过率从 39% 提升至 73%。每个问题的任务 Agent 成本从 3.38 美元降至 1.68 美元,降幅约为 50%。每个问题所需的查询次数从 8.8 次降至 4.7 次。根据具体任务不同,工具调用次数下降了 16% 至 75%。

研究人员在六个 APEX 管理咨询场景中测试了该方法。在六个测试环境中的五个环境里,与传统的记忆增强框架相比,探测方法带来了更高的每美元奖励回报。测试涵盖多个基础模型,包括 Sonnet 4.6 和 Opus 4.7,并且无需更改架构或重新训练底层任务 Agent。

当前基于轨迹的记忆系统存在局限

大多数现有系统使用基于轨迹的整理方式,即 Agent 完成任务后审查自身轨迹,并提取经验教训以供未来参考。任务执行期间发生的错误,或任务完成后环境发生的变化,都会被永久存储在 Agent 记忆中。微软的环境探测方法加入了验证步骤,以解决这一局限,使整理 Agent 能够在候选记忆永久保存前查找信息、验证事实并刷新候选记忆。

微软扩展 AI Agent 记忆研究组合

微软已经发布了多个解决 Agent 记忆挑战的项目。该公司此前发布了 STATE-Bench,这是一项旨在评估 Agent 如何维护和使用持久记忆的基准测试。其他项目包括 Memora(一种用于 Agent 记忆的架构框架)以及受人类启发的记忆系统研究。研究人员使用 GitHub Copilot 作为此次研究的近生产环境测试平台,该产品是微软的旗舰 AI 产品之一,已部署于数百万开发者的工作流中。

常见问题

AI Agent 记忆中的环境探测式整理是什么?

环境探测式整理是一种技术,由单独的整理 Agent 在 AI Agent 将信息提交至长线记忆之前,针对真实世界环境验证这些信息。整理 Agent 以异步方式运行,并以只读方式访问环境工具,在无需修改主要任务 Agent 的情况下核查事实并刷新候选记忆。

微软的技术让 AI Agent 在 CLBench 上的性能提升了多少?

在 CLBench 数据库探索基准测试中,微软的环境探测技术将通过率从 39% 提升至 73%。每个问题的成本从 3.38 美元降至 1.68 美元,每个问题所需的查询次数从 8.8 次降至 4.7 次。根据任务不同,工具调用次数下降了 16% 至 75%。

微软为这项研究使用了哪些测试环境?

微软在六个 APEX 管理咨询场景中测试了环境探测方法,并使用了 CLBench 数据库探索基准测试。研究人员使用 GitHub Copilot 作为近生产环境测试平台,并测试了多个基础模型,包括 Sonnet 4.6 和 Opus 4.7。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论