根据 10 月 14 日发布的论文,清华大学电子工程系数据科学与智能实验室的研究人员发布了两项 AI 科学研究工具:SRHarness 与 MechBench。SRHarness 在 LSR-Transform 基准测试中达到了 93.69% 的符号恢复率,甚至超过了 Codex 与 GPT-5.5 的组合。
SRHarness 性能:LSR-Transform 达 93.69%,移除背景后仍达 72.97%
根据论文数据,SRHarness 在使用相同的 DeepSeek-v4-flash 基础模型时,在 LSR-Transform 基准测试中达到了 93.69% 的符号恢复率,而此前的最佳方法 SR-Scientist 为 62.16%。即使从问题中移除科学背景和变量含义,SRHarness 仍能恢复 72.97% 的目标方程;相比之下,SR-Scientist 和使用相同基础模型运行的 Codex 分别为 39.64% 和 20.72%。
论文作者指出,SRHarness 的恢复率甚至超过了 Codex 与 GPT-5.5 的组合,后者的恢复率为 68.47%。这项研究以开普勒与牛顿的历史案例为类比:开普勒通过观测推导出行星运动定律(描述“如何”),牛顿力学则解释了背后的原因(理解“为何”);SRHarness 针对的是第一个步骤。
MechBench 结果:差距凸显 AI 理解能力的短板
根据论文,MechBench 区分两种能力:恢复观测到的规律(Pattern Recovery)和恢复产生这一规律的底层机制(Mechanism Recovery)。MechBench 使用机制探针检查仅凭公式无法确定的内部量,并筛选可能产生相同观测结果的竞争机制。论文结果显示,即使是使用 GPT-5.6-sol 的 Codex 模型,也仅在核心数据集的 13.75% 案例中成功恢复了机制,而规律恢复本身的成功率为 35%。
研究人员将这一差距(13.75% 对 35%)视为“当今科学代理更擅长发现模式,而不是理解模式”的证据,并将 MechBench 定位为衡量 AI 科学理解能力的下一步基准。
SRHarness 框架:开源于 GitHub,三大组件支持长时间科学搜索
根据 SRHarness 的开发者文档,该框架不预设搜索策略,而是将智能体所依赖的运行时环境转化为可重用的基础设施,由三大组件构成:
可重用的科学操作:将分析、拟合、搜索和评估工具封装在同一个接口中,供智能体调用
持久化的科学状态:在聊天上下文之外存储候选公式及其证据,支持跨对话的长期研究追踪
轨迹生命周期管理:处理长时间搜索的继续、分支、重启和停止,支持复杂的探索流程
SRHarness 已在 GitHub 上开源,可从 PyPI 安装,并提供在线演示。研究人员补充称,早在 9 月,科学智能体就已经能够分析数据、调用工具并迭代验证假设;SRHarness 则为这类流程提供了可重用的运行时基础设施。
常见问题
SRHarness 在 LSR-Transform 基准测试中的成绩如何?
根据论文数据,SRHarness 在使用相同的 DeepSeek-v4-flash 基础模型时,达到了 93.69% 的符号恢复率;此前的最佳方法 SR-Scientist 为 62.16%。论文作者指出,SRHarness 甚至超过了 Codex 与 GPT-5.5 组合的 68.47%。
MechBench 测试显示 AI 的机制理解能力如何?
根据论文结果,使用 GPT-5.6-sol 的 Codex 模型在核心数据集案例中的机制恢复成功率仅为 13.75%,而规律恢复成功率为 35%;研究人员指出,这一差距表明“当今的科学代理更擅长发现模式,而不是理解模式”。
SRHarness 的三大组件分别是什么?
根据开发者文档,三大组件分别为:可重用的科学操作(封装分析、拟合、搜索和评估工具)、持久化的科学状态(在聊天上下文之外存储候选公式及其证据),以及轨迹生命周期管理(处理长时间搜索的继续、分支、重启和停止)。
如何使用 SRHarness?
根据论文说明,SRHarness 已在 GitHub 上开源,可从 PyPI 安装,并提供在线演示。