11 月 11 日,Hugging Face 研究员 Joel Niklaus 表示,DeepSeek 的开源编程智能体 DeepSeek Harness (DSH) 现已出现在他的 Harness 排行榜上。该榜单固定模型和推理力度,只在 10 个编程智能体之间更换 harness。根据他的数据,DSH(开发者预览版 0.2.2-rc.1)在 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的低、高推理力度评测,以及 Flint 评测这五项测试中,均在统计上并列第一。这是一个由个人维护的研究榜单,并非 DeepSeek 或 Hugging Face 的官方公告。
DSH 在五项 Harness 评测中并列第一
根据作者的数据,DSH 在五项评测中均在统计上并列第一。这五项评测包括 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的低、高推理力度评测,以及 Flint 评测。由于榜单固定了模型和推理力度,因此比较能够单独考察编程智能体本身的影响。作者的数据并非 DeepSeek 或 Hugging Face 的官方结果。
DSH 在 DeepSWE 排名第二,在 Terminal-Bench 排名第六
在三种模型上的平均结果中,DSH 在 DeepSWE 排名第二,比 Nous Research 的 Hermes Agent 低 0.5 分。在 Terminal-Bench 上,同样的平均结果将 DSH 排在第六。两项排名之间的差距主要由一种行为造成:DSH 完成任务时会关闭自己启动的所有后台程序。
服务器关闭行为导致 Terminal-Bench 失分
在三项 Terminal-Bench 任务中,评分器会在智能体退出后检查服务器。这些任务要求某项服务(例如模型推理 API)在智能体完成任务后仍能响应。DSH 在这三项任务的 36 次尝试中仅通过 2 次。相比之下,OpenCode、Pi 和 Hermes Agent 均在 36 次尝试中全部通过。这三项任务使 DSH 每次评测损失 1.5 至 1.7 分,超过了它在 DeepSeek-V4.1-Flash 高推理力度评测中与领先者之间的 1.3 分差距。
排行榜方法固定模型和推理力度,仅更换 Harness
该榜单在 Hugging Face Sandbox、Jobs 和推理路由器上运行 Terminal-Bench 2.1 和 DeepSWE v1.1。如果某个 harness 与领先者的配对差值的 95% 自助法区间涵盖零,榜单就将其标记为并列。查找已发布的解决方案,或获取题目源自的上游代码,均计为失败。更新日志说明,DSH 通过兼容 OpenAI 的端点与计量代理通信;其 20 次通过结果被推翻,例如因获取了上游代码。测试版本为 0.2.2-rc.1,且关闭了网页搜索,因为使用网页搜索需要 DeepSeek 账户密钥。
DSH 每次成功试验平均花费 0.53 美元
DSH 在榜单上每次成功试验的平均花费为 0.53 美元。作为参考,榜单列出的 DeepSeek-V4.1-Flash 价格为每百万个输入代币 0.28 美元、每百万个输出代币 1.12 美元;GLM-5.3-Flash 的价格为每百万个代币 0.15 美元。测试版本仍是开发者预览版,因此作者指出,其行为可能会在稳定版发布后发生变化。
使用 DSH 运行长时间服务需要明确设置
对于使用 DeepSeek-V4.1-Flash 或 GLM-5.3-Flash 进行仓库级代码修改,作者认为 DSH 已跻身第一梯队,每次成功试验的花费约为 0.53 美元。如果任务需要在智能体完成后仍让服务继续运行,作者指出 DSH 会在退出时清理进程。建议的解决办法是通过 systemd 或 nohup 运行服务,或在提示词中明确说明这一要求。
关键事实:DSH Harness 排行榜结果
- 榜单配置:固定模型和推理力度,在 10 个编程智能体之间更换 harness(作者的数据)。
- 测试版本:DeepSeek Harness 开发者预览版 0.2.2-rc.1;关闭网页搜索,因为使用网页搜索需要 DeepSeek 账户密钥。
- 评测结果:5 项评测均在统计上并列第一(DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 的低、高推理力度评测,以及 Flint)。
- DeepSWE:三种模型的平均排名为第二,比 Hermes Agent 低 0.5 分。
- Terminal-Bench:三种模型的平均排名为第六。
- 依赖服务器的 Terminal-Bench 任务:DSH 在 36 次尝试中通过 2 次;OpenCode、Pi 和 Hermes Agent 均在 36 次尝试中全部通过。
- 这三项任务给 DSH 带来的分数损失:每次评测 1.5 至 1.7 分。
- 平均花费:每次成功试验 0.53 美元。
- 运行的基准测试:Terminal-Bench 2.1 和 DeepSWE v1.1,运行于 Hugging Face Sandbox、Jobs 和推理路由器。
- 并列标准:与领先者的配对差值的 95% 自助法区间涵盖零。
- 被推翻的通过结果:20 次通过结果被推翻,例如因获取上游代码。
常见问题
DeepSeek Harness 是否获得 DeepSeek 或 Hugging Face 官方认可?
没有。来源指出,Harness 排行榜是一个由个人维护的研究榜单,并非 DeepSeek 或 Hugging Face 的官方公告。排名数据来自作者。
为什么 DSH 在某些 Terminal-Bench 任务中表现不佳?
DSH 完成任务时会关闭自己启动的所有后台程序。三项 Terminal-Bench 任务要求服务器在智能体退出后仍能响应评分器。DSH 在这些任务的 36 次尝试中仅通过 2 次,因此每次评测损失 1.5 至 1.7 分。
在这个排行榜上,DSH 每个任务的成本是多少?
根据来源,DSH 每次成功试验的平均花费为 0.53 美元。来源还指出,测试版本为 0.2.2-rc.1,是开发者预览版。