一位家庭实验室搭建者在 Qwen 3.6 350 亿 AI 模型上对三块二手 Nvidia V100-16GB GPU 进行了基准测试,在一套成本为 1,042 美元的自定义配置中,实现了约每秒 100 个 token。搭建者在 esologic.com 上发布了一篇题为 '扩展电子垃圾:在多块退役 GPU 上运行 LLM' 的博客文章,详细介绍测试结果,并比较了退役企业级 GPU 与现代硬件的性能。在较长上下文长度下,V100 配置的表现超过了售价 5,399 美元的 M5 Max Mac Studio:在 12.8 万上下文长度下,每秒达到 72.7 个 token,而 Mac 为每秒 61.3 个 token,性能领先 19%。基准测试使用 llama.cpp 测试了 130 多种 LLM 配置,涵盖 Qwen 2.5、Gemma 4 和 Qwen 3.6 等多个模型,精度包括 Q4/Q8/F16,上下文长度从 4,000 到 12.8 万 token 不等。测试表明,只要配置得当,常被称为“电子垃圾”的退役企业级 GPU 也能在 AI 推理工作负载上与现代硬件竞争;V100 配置的能耗约为同等 P100 配置的一半。
家庭实验室搭建者在 Supermicro 平台上测试三卡配置
这项基准测试比较了九种不同的构建方案:在一块 Supermicro X10DRG-Q 主板上安装一到三块 K80、P100 或 V100-16GB 显卡,搭配两颗 12 核英特尔 Xeon E5-2687W CPU,并由 Corsair HX1500i 电源供电。搭建者指出,V100 测试是在 7 月那轮测试之后进行的;前一轮测试了 15 块“电子垃圾”GPU。博客文章称,搭建者正“每天用 V100 跑 Qwen 3.6 350 亿模型”。性能评判依据是“实时交互”,定义为每秒 70 个 token。搭建者解释说,必须使用三块 GPU,因为 Qwen 3.6 350 亿模型在 Q8(8 位量化)下无法在一块或两块显卡上运行。每项测试运行 10 次,每次生成 512 个 token,并将上下文预填充至 4,000、3.2 万、6.4 万或 12.8 万。
V100 配置在 4,000 上下文长度下达到每秒 100.8 个 token
三块 V100 显卡以 Q8 精度运行 Qwen 3.6 350 亿模型,在 4,000 上下文长度下达到每秒 100.8 个 token,在 12.8 万上下文长度下则降至每秒 72.7 个 token。Qwen 3.6 270 亿稠密模型的速度明显更慢,在 4,000 上下文长度下达到每秒 24.3 个 token,在 12.8 万上下文长度下达到每秒 14.2 个 token。根据上下文长度的不同,混合专家(MoE)350 亿模型的运行速度约为稠密 270 亿模型的四到五倍。该 MoE 模型每个 token 约激活总计 350 亿参数中的 30 亿个。在 Q4(4 位量化)下,两块 V100 在上下文长度为 12.8 万至 4,000 的范围内运行 Qwen 3.6 350 亿模型,速度达到每秒 77.1 至 105.4 个 token。其他测试的约 300 亿参数稠密模型表现较弱:在 4,000 上下文长度下,Gemma 4 310 亿达到每秒 20.9 个 token,Qwen 2.5 320 亿达到每秒 21.0 个 token。
基准测试将 V100 与 Mac Studio 和 DGX Spark 进行比较
Mac Studio 的对比数据来自 oMLX 基准测试页面,测试设备为搭载 40 个 GPU 核心和 128GB 统一内存的 M5 Max;在 Qwen 3.6 350 亿模型上,输入约 19.5 万 token 的提示词时,速度达到每秒 43.9 个 token。在 4,000 和 3.2 万上下文长度下,Mac Studio 略微领先于 V100 配置;在 6.4 万和 12.8 万上下文长度下,V100 则反超。根据 Kleybrink 的 dgx-spark-bench 数据,售价 4,700 美元的英伟达 DGX Spark 在 Ollama 思考模式下使用较短提示词时,速度达到每秒 45.8 个 token。搭建者指出,这些对比使用了不同的运行时。推理服务提供商 Parasail 赞助了一项与专用 H100 和 B200 部署的比较:在 12.8 万上下文长度下,两块 H100 的速度约为每秒 315 个 token,一块 B200 的速度约为每秒 455 个 token。
使用退役 GPU 的三卡构建方案成本为 1,042 美元
搭建者给出了三种不同三卡配置的价格。三块 V100-16GB 的价格为 655.16 美元(两块的价格为 436.77 美元),整套构建的总成本为 1,042 美元,其中包括 211 美元的 Supermicro 主板、147.70 美元的 Corsair 电源,以及一颗 CPU 的 28.20 美元。搭建者指出,这些价格“并不能 100% 反映你今天在 eBay 上能找到的价格”;总价只计算两颗 CPU 中的一颗,也未计入 RAM、存储、机箱和散热的费用。三块 P100 的总成本为 790 美元,GPU 价格为 403.50 美元(每块 134.50 美元);三块 K80 的总成本为 657 美元,GPU 价格为 270 美元(每块 90 美元)。如果加上第二颗 CPU,V100 构建的成本将达到 1,070 美元。搭建者指出,旧款显卡“运行温度高,出货时没有散热装置”,因此需要 3D 打印鼓风机风道。
V100 配置的能耗仅为同等 P100 配置的一半
V100 配置运行一次 12.8 万上下文长度的 350 亿模型,能耗约为 0.02 kWh;该数据仅测量 GPU,不包括墙上插座测得的整机能耗。P100 配置的能耗是其两倍,而两块或三块 K80 在同等工作负载下的能耗为 0.35 至 0.45 kWh。搭建者表示,与 P100 相比,V100-16GB“得分更高,能耗更低”。三块 P100 以 Q8 精度运行 Qwen 3.6 350 亿模型,在相同上下文长度范围内速度达到每秒 40.2 至 55.2 个 token;只有运行 Qwen 2.5 30 亿模型时,才达到每秒 70 个 token 的目标。
搭建者计划推出软件工厂基准测试和散热器
搭建者表示,计划开发一项“与软件工厂性能相对应”的基准测试,所指的是模型全天候不断接受提示词的场景,在这种情况下,瞬时速度没那么重要。一款独立散热器“即将准备好发布”,届时将从邮件列表中招募测试人员,但尚未公布日期。在 Reddit 讨论帖中,搭建者提到有意比较不同推理后端,并使用推测解码来提升性能。搭建者指出,增加显卡数量可以提供更多内存以运行更大的模型,但不会提升速度。
常见问题
三块英伟达 V100 GPU 在 Qwen 3.6 350 亿模型上达到怎样的性能?
根据 esologic.com 发布的基准测试结果,三块 Nvidia V100-16GB GPU 使用 Q8(8 位)量化运行 Qwen 3.6 350 亿模型,在 4,000 上下文长度下达到约每秒 100 个 token,在 12.8 万上下文长度下达到每秒 72.7 个 token。
这套三块 V100 的家庭实验室构建方案花了多少钱?
三块 V100 构建方案的总成本为 1,042 美元,其中包括三块 V100-16GB GPU 的 655.16 美元、Supermicro X10DRG-Q 主板的 211 美元、Corsair HX1500i 电源的 147.70 美元,以及一颗英特尔 Xeon E5-2687W CPU 的 28.20 美元;总价未计入 RAM、存储、机箱和散热的费用。
V100 配置与 M5 Max Mac Studio 相比表现如何?
在较长上下文长度下,三块 V100 的配置表现超过了 M5 Max Mac Studio:在 Qwen 3.6 350 亿模型的 12.8 万上下文长度下,V100 每秒达到 72.7 个 token,而 Mac Studio 为每秒 61.3 个 token,在测试的最长上下文长度下性能领先 19%。