呼叫中心公司在英伟达 H200 GPU 上测试 DeepSeek:每月成本 13,200 美元

DEEPSEEK-2.21%
NVDA-2.30%

关键要点

  • Call Center Doctors 于 9 月 27 日租用了四块英伟达 H200 GPU,以测试 DeepSeek V4.1 Flash。
  • GPU 租赁成本每月约为 1.32 万美元,超过该公司 9 月 5500 美元账单的两倍。
  • 由于发现存在阻止其编写生产代码的安全漏洞,DeepSeek 被限制为仅执行只读操作。

The Call Center Doctors 是一家呼叫中心咨询公司,于 9 月 27 日租用了 4 块英伟达 H200 GPU,以测试 DeepSeek V4.1 Flash,作为其现有 AI 编码解决方案的替代品。此次测试旨在验证 DeepSeek 能否以显著更低的成本提供同等性能。按需费率计算,租用费用导致每月 GPU 成本约为 1.32 万美元,是该公司 9 月 5500 美元 AI 服务账单的两倍多;与此同时,安全漏洞使该模型无法编写生产代码。此次测试反映了更广泛的行业努力:随着企业评估自托管开放模型和基于 API 的服务,优化 AI 部署成本。

GPU 租赁成本超过现有 API 订阅费用一倍

The Call Center Doctors 租用的一台配备 4 块英伟达 H200 GPU 的服务器按需费率为每小时 18.37 美元,按标准月度计费周期计算总计约 1.32 万美元。相比之下,该公司现有 AI 编码解决方案的 9 月账单约为 5500 美元,GPU 租赁成本明显不划算。该咨询公司的测试期为 9 月 1 日至 27 日,期间模型调用量为 203 万次,处理了 3885 亿个输入代币和 3.93 亿个输出代币,并完成了 5610 项代码变更合并。

DeepSeek 的 API 定价为:非高峰时段每 100 万个输入代币 0.15 美元,缓存输入代币每 100 万个 0.003 美元,每 100 万个输出代币 0.60 美元;高峰时段费用翻倍。该咨询公司估计,通过 DeepSeek API 运行相同的 27 天工作负载,成本将在 3500 至 7000 美元之间,具体取决于高峰定价;如果使用量均匀分布在一周内,平均成本约为 4200 美元。按需费率下,GPU 服务器每天成本为 440.88 美元,而通过 DeepSeek API 完成等量工作每天成本为 184 至 223 美元。

性能瓶颈将代币输出限制在每秒 213 个

在每次持续一分钟的满负载测试中,租用的 GPU 服务器每秒生成的输出代币约为 213 个。然而,据日志显示,该咨询公司的编码代理主要通过重新发送对话历史来运行,其中 96% 的输入由缓存文本组成。系统每生成一个新代币,就会处理约 1000 个旧代币,使 GPU 忙于重新读取操作,并限制了用于生成新输出的时间。

根据该咨询公司的计算,GPU 服务器每天可处理约 200 亿个代币,其中大部分是重新读取的缓存内容;相比之下,代理在运营最繁忙的一天消耗了 510 亿个代币。模型加载需要尝试五次,每次耗时 10 至 15 分钟,才能实现稳定运行;无论设备处于忙碌还是空闲状态,服务器都会持续计费。

安全漏洞将 DeepSeek 限制为只读操作

由于咨询公司的审查人员发现了安全问题,DeepSeek V4.1 Flash 在测试期间没有编写生产代码。审查人员发现了多种方法,使代理代码能够逃出沙盒环境,其中包括利用共享临时文件夹中的设置文件,该文件可能允许代理代码以管理员权限执行。

因此,DeepSeek 仅作为 48 至 64 个只读审查代理运行,分析了 2377 个文件夹并提交了 32 份错误报告。在此次测试阶段,GPU 服务器按每小时 9.19 美元的现货费率租用;最终测试结束后几分钟内,服务器便被归还给提供商。该咨询公司指出,即将推出的 DeepSeek V4.1-Pro 目前尚无确定发布日期,但基于 V4 系列基准测试结果,其性能可能更好,因为 Pro 的得分高于 Flash。

常见问题

The Call Center Doctors 在 9 月 27 日测试了什么?

The Call Center Doctors 于 9 月 27 日租用了 4 块英伟达 H200 GPU,以测试 DeepSeek V4.1 Flash 是否能作为其现有 AI 编码解决方案的潜在替代品。此次测试旨在验证成本效率方面的说法;按需费率计算,测试导致每月 GPU 租赁成本约为 1.32 万美元,是该公司 9 月 5500 美元 AI 服务账单的两倍多。

为什么 DeepSeek 在测试期间没有编写生产代码?

在咨询公司的审查人员发现安全漏洞后,DeepSeek V4.1 Flash 被限制为只读操作。这些漏洞可能使代理代码逃出沙盒环境,其中包括通过共享临时文件夹中的设置文件实现管理员级别的代码执行。该模型仅作为 48 至 64 个只读审查代理运行,分析了 2377 个文件夹并提交了 32 份错误报告。

GPU 租赁费用与 API 定价相比是多少?

一台配备 4 块英伟达 H200 GPU 的服务器按需费率为每小时 18.37 美元,每月总计约 1.32 万美元,每天为 440.88 美元。该咨询公司估计,通过 DeepSeek API 运行相同的 27 天工作负载,成本将在 3500 至 7000 美元之间,平均约为 4200 美元;相比之下,其现有解决方案的 9 月账单为 5500 美元。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论