清华大学 SRHarness 的符号回归达到 93.69%,优于 GPT-5.5 组合方案

关键要点

  • 清华大学于 10 月 14 日发布了 SRHarness,其符号恢复率达到 93.69%。
  • SRHarness 的表现超过了 SR-Scientist 的 62.16% 以及 Codex-GPT-5.5 组合的 68.47%。
  • SRHarness 已在 GitHub 上开源,包含三个用于长线研究的核心基础设施组件。

根据 10 月 14 日发布的论文,清华大学电子工程系数据科学与智能实验室的研究人员发布了两项 AI 科学研究工具:SRHarness 与 MechBench。SRHarness 在 LSR-Transform 基准测试中达到了 93.69% 的符号恢复率,甚至超过了 Codex 与 GPT-5.5 的组合。

SRHarness 性能:LSR-Transform 达 93.69%,移除背景后仍达 72.97%

根据论文数据,SRHarness 在使用相同的 DeepSeek-v4-flash 基础模型时,在 LSR-Transform 基准测试中达到了 93.69% 的符号恢复率,而此前的最佳方法 SR-Scientist 为 62.16%。即使从问题中移除科学背景和变量含义,SRHarness 仍能恢复 72.97% 的目标方程;相比之下,SR-Scientist 和使用相同基础模型运行的 Codex 分别为 39.64% 和 20.72%。

论文作者指出,SRHarness 的恢复率甚至超过了 Codex 与 GPT-5.5 的组合,后者的恢复率为 68.47%。这项研究以开普勒与牛顿的历史案例为类比:开普勒通过观测推导出行星运动定律(描述“如何”),牛顿力学则解释了背后的原因(理解“为何”);SRHarness 针对的是第一个步骤。

MechBench 结果:差距凸显 AI 理解能力的短板

根据论文,MechBench 区分两种能力:恢复观测到的规律(Pattern Recovery)和恢复产生这一规律的底层机制(Mechanism Recovery)。MechBench 使用机制探针检查仅凭公式无法确定的内部量,并筛选可能产生相同观测结果的竞争机制。论文结果显示,即使是使用 GPT-5.6-sol 的 Codex 模型,也仅在核心数据集的 13.75% 案例中成功恢复了机制,而规律恢复本身的成功率为 35%。

研究人员将这一差距(13.75% 对 35%)视为“当今科学代理更擅长发现模式,而不是理解模式”的证据,并将 MechBench 定位为衡量 AI 科学理解能力的下一步基准。

SRHarness 框架:开源于 GitHub,三大组件支持长时间科学搜索

根据 SRHarness 的开发者文档,该框架不预设搜索策略,而是将智能体所依赖的运行时环境转化为可重用的基础设施,由三大组件构成:

可重用的科学操作:将分析、拟合、搜索和评估工具封装在同一个接口中,供智能体调用

持久化的科学状态:在聊天上下文之外存储候选公式及其证据,支持跨对话的长期研究追踪

轨迹生命周期管理:处理长时间搜索的继续、分支、重启和停止,支持复杂的探索流程

SRHarness 已在 GitHub 上开源,可从 PyPI 安装,并提供在线演示。研究人员补充称,早在 9 月,科学智能体就已经能够分析数据、调用工具并迭代验证假设;SRHarness 则为这类流程提供了可重用的运行时基础设施。

常见问题

SRHarness 在 LSR-Transform 基准测试中的成绩如何?

根据论文数据,SRHarness 在使用相同的 DeepSeek-v4-flash 基础模型时,达到了 93.69% 的符号恢复率;此前的最佳方法 SR-Scientist 为 62.16%。论文作者指出,SRHarness 甚至超过了 Codex 与 GPT-5.5 组合的 68.47%。

MechBench 测试显示 AI 的机制理解能力如何?

根据论文结果,使用 GPT-5.6-sol 的 Codex 模型在核心数据集案例中的机制恢复成功率仅为 13.75%,而规律恢复成功率为 35%;研究人员指出,这一差距表明“当今的科学代理更擅长发现模式,而不是理解模式”。

SRHarness 的三大组件分别是什么?

根据开发者文档,三大组件分别为:可重用的科学操作(封装分析、拟合、搜索和评估工具)、持久化的科学状态(在聊天上下文之外存储候选公式及其证据),以及轨迹生命周期管理(处理长时间搜索的继续、分支、重启和停止)。

如何使用 SRHarness?

根据论文说明,SRHarness 已在 GitHub 上开源,可从 PyPI 安装,并提供在线演示。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论