因进程清理问题,DeepSeek Harness 在 Terminal-Bench 排名跌至第六位

关键要点

  • 在 Hugging Face 的五项排行榜评测中,DeepSeek Harness 均在统计学上并列第一,但因关闭后台进程的问题,在 Terminal-Bench 中跌至第六。
  • 据 Hugging Face 研究员 Joël Niklaus 称,在需要持久进程的 Terminal-Bench 任务中,DeepSeek Harness 36 次尝试仅通过了 2 次,而 OpenCode 和 Pi 则全部通过。
  • DeepSeek Harness 自动终止后台进程,导致其得分降低了 1.5–1.7 个百分点,降幅超过了其与排行榜榜首之间 1.3 个百分点的差距。

DeepSeek Harness 是 DeepSeek 推出的开源编程智能体,在 Hugging Face 的 Harness 排行榜五项计分评估中统计上并列第一,但在 Terminal-Bench 单项中却跌至第六。Hugging Face 负责 harness 优化的研究员 Joël Niklaus 在 The New Stack 于 2026 年 11 月 13 日发表的一篇文章中重点介绍了这一排名。Niklaus 将差距归因于一项内置行为:任务完成时,智能体会关闭后台进程,导致它无法完成竞争智能体能够完成的任务。

DeepSeek Harness 并列第一,但在 Terminal-Bench 排名第六

该排行榜比较了运行相同底层模型的十种执行框架。DeepSeek Harness 在排行榜的五项计分评估中统计上均并列第一。然而,它在 Terminal-Bench 中跌至第六。Niklaus 在 X 上写道,“一个习惯就能解释其中很大一部分差距”,指的是该智能体在 Terminal-Bench 上表现较弱。

关闭后台进程导致任务失败

DeepSeek Harness 会在任务完成时关闭后台进程。这会影响 Terminal-Bench 中三项要求这些进程持续运行的任务。Niklaus 发现,在使用 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的 36 次尝试中,DeepSeek Harness 仅通过了两次,而 OpenCode、Pi 和 Nous Research 的 Hermes Agent 在相同任务上通过了全部 36 次尝试。这一行为使 DeepSeek Harness 的得分降低了 1.5 至 1.7 个百分点。在高推理力度下使用 DeepSeek-V4.1-Flash 时,这一降幅超过了 DeepSeek Harness 与领先者之间 1.3 个百分点的全部差距。

排行榜的更新日志证实,关闭进程的行为属于 DeepSeek Harness 本身,且结果未作更改。DeepSeek 的工程文档将其本地作业注册表描述为一个刻意设计为短生命周期的组件。文档写道:“当作业应在 harness 进程中运行并随其终止时,选择它。”需要在重启后继续运行或跨进程运行的作业则需要使用不同的后端。

相同模型在不同执行框架中产生不同结果

Niklaus 于 11 月 5 日推出 Harness 排行榜,此前他已在最初的九种执行框架上进行了 28,849 次试验。试验使用了三个开放模型:DeepSeek-V4.1-Flash、GLM-5.3-Flash 和 Flint。他在切换执行框架时,保持模型、提供商和推理力度不变。相对简单的、基于 bash 的智能体 Mini-swe-agent 完成了 51.4% 的任务,而 OpenClaw 完成了 27.3%,不过其他几种执行框架在统计上也与领先者并列。

成本也有很大差异。Pi 的任务解决率为 49.4%,每个已解决任务的成本为 $0.29;在初步评估中,OpenCode 每个已解决任务的成本为 $3.35。Hugging Face 联合创始人 Thomas Wolf 在 X 上将研究结果概括为:“相同的开放模型,不同的执行框架 => 结果大不相同。”The New Stack 联系了 DeepSeek 征求评论,但截至发稿时尚未收到回复。

独立评估显示执行框架的选择会影响成本和指令遵循

Y Combinator 总裁兼首席执行官 Garry Tan 使用 Claude Opus 5.5 和 GPT-6.1 Sol 开展了独立评估。研究人员写道,不同执行框架在成本上的差异大于任务解决率上的差异。在多用户任务中,运行 Opus 5.5 的 OpenClaw 每个已解决任务的成本约为其他 Opus 执行框架的两倍,主要原因是它在每次请求中反复发送上下文。

该项目还测试了 Tan 的 gstack 工作流技能。在 46 次会话中,Opus 5.5 阅读了指令,却从未遵循规定步骤,而且这些尝试的成本约为两倍。研究人员指出,任务相对简单,因此尚不清楚遵循指令是否会改善结果。这些发现说明,测试执行框架与测试模型同样重要。

关键事实:DeepSeek Harness 基准测试结果

  • Harness 排行榜于 11 月 5 日推出,此前已在最初的九种执行框架上进行了 28,849 次试验。
  • 试验使用了三个开放模型:DeepSeek-V4.1-Flash、GLM-5.3-Flash 和 Flint。
  • 在使用 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的 36 次尝试中,DeepSeek Harness 通过了 2 次,而 OpenCode、Pi 和 Nous Research 的 Hermes Agent 通过了全部 36 次。
  • 关闭后台进程的行为使 DeepSeek Harness 的得分降低了 1.5 至 1.7 个百分点。
  • Mini-swe-agent 完成了 51.4% 的任务,而 OpenClaw 完成了 27.3%。
  • Pi 的任务解决率为 49.4%,每个已解决任务的成本为 $0.29;在初步评估中,OpenCode 每个已解决任务的成本为 $3.35。
  • Garry Tan 的独立评估使用了 Claude Opus 5.5 和 GPT-6.1 Sol,并包含 46 次 gstack 会话;在这些会话中,Opus 5.5 没有遵循规定步骤。

常见问题

为什么 DeepSeek Harness 在 Terminal-Bench 中排名第六?

DeepSeek Harness 会在任务完成时关闭后台进程。Terminal-Bench 中有三项任务要求这些进程持续运行,因此该智能体未能完成这些任务。在使用 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的 36 次尝试中,它仅通过了两次,而 OpenCode、Pi 和 Hermes Agent 在相同任务上通过了全部 36 次。

关闭进程的行为对 DeepSeek Harness 的得分影响有多大?

这一行为使 DeepSeek Harness 的得分降低了 1.5 至 1.7 个百分点。在高推理力度下使用 DeepSeek-V4.1-Flash 时,这一降幅足以超过 DeepSeek Harness 与领先者之间 1.3 个百分点的全部差距。

Harness 排行榜测试了什么?

Harness 排行榜于 11 月 5 日推出,使用 DeepSeek-V4.1-Flash、GLM-5.3-Flash 和 Flint,在最初的九种执行框架上进行了 28,849 次试验。研究人员在切换执行框架时,保持模型、提供商和推理力度不变,结果显示任务解决率和成本都存在显著差异。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论