谷歌 WikiSkill 框架可将 AI 智能体性能最高提升 72.6%

关键要点

  • 谷歌研究院推出了 WikiSkill 框架,使 AI 智能体能够利用持久化的维基式知识库在多次迭代中保留知识。
  • Gemini-3.5-Flash 在 LiveMathematicianBench 上取得 72.6% 的成绩,在 SpreadSheetBench 上取得 76.6% 的成绩,各项基准测试平均提升 12.0 个百分点。
  • 消融研究证实,持久化维基是推动 WikiSkill 在所有测试基准上性能提升的关键组件。

谷歌研究院推出了 WikiSkill,这是一种让 AI 智能体能够从经验中学习的框架,并通过持久化的维基风格知识库在多次迭代中保留知识。该方法解决了一个核心局限:以往的技能演化方法虽然能在执行过程中产生有用洞见,但会在每个周期结束后将其丢弃,而不是将其积累下来。在五项基准测试中的评估显示,WikiSkill 能够提升性能。其中,Gemini-3.5-Flash 在 LiveMathematicianBench 上的表现从 33.0% 提升至 72.6%,在 SpreadSheetBench 上则从 50.5% 提升至 76.6%。

WikiSkill 框架架构与组件

该框架采用三层架构,分别承担不同功能。原始层捕获不可变的执行轨迹,记录智能体执行的所有操作及其结果。维基层将原始数据整合为累积知识。技能层则存放智能体可以部署的可执行程序。

系统由四个关键组件构成。推理智能体负责执行任务;维基维护器会在新信息到来时更新知识库;技能提议器基于累积知识生成候选程序;验证门控机制则确保只有真正有用的技能才能入选。

五项测试中的基准性能结果

WikiSkill 在五项基准测试中得到验证,这些测试涵盖数学推理、网页搜索、电子表格管理、长上下文问答和具身交互。Gemini-3.5-Flash 的表现最为突出:在 LiveMathematicianBench 上,性能从 33.0% 大幅提升至 72.6%;在 SpreadSheetBench 上,则从 50.5% 提升至 76.6%。在所有基准测试中,平均提升达到 12.0 个百分点。

消融研究证实,持久化维基知识库是推动性能提升的关键组件。移除该组件后,性能提升基本消失。

跨模型技能可迁移性研究结果

将一个模型学到的技能应用于其他模型时,其表现优于后者自行演化出的技能,即使这些模型来自不同系列。该研究由谷歌研究院的 Liyan Tang、Cyrus Rashtchian、Chun-Sung Ferng、Andrew Tomkins 和 Da-Cheng Juan,以及谷歌研究院与弗吉尼亚理工学院的 Tu Vu 共同完成。

常见问题

谷歌的 WikiSkill 框架是什么?
WikiSkill 是谷歌研究院推出的一种框架,让 AI 智能体能够从经验中学习,并通过持久化的维基风格知识库在多次迭代中保留知识。

WikiSkill 在多大程度上提升了 AI 智能体的性能?
在 LiveMathematicianBench 上,Gemini-3.5-Flash 的性能从 33.0% 提升至 72.6%;在 SpreadSheetBench 上则从 50.5% 提升至 76.6%。在五项基准测试中,平均提升达到 12.0 个百分点。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论