三张二手英伟达 V100 显卡在一套 1,042 美元的家庭实验室配置中运行 Qwen 3.6 35B,达到每秒 100 个词元,性能超越售价 5,399 美元的 M5 Max Mac Studio

据 Tom's Hardware 报道,一位家庭实验室搭建者最近用三块二手英伟达 V100 GPU 搭建了一套自定义配置,运行 Qwen 3.6 350 亿参数模型,吞吐量达到每秒 100.8 个词元,整套配置耗资 1,042 美元。在较长上下文长度下,这套由已退役 GPU 组成的配置性能超过了售价 5,399 美元、配备 40 核 GPU 和 128GB 内存的 Apple M5 Max Mac Studio:在 12.8 万上下文长度下,前者达到每秒 72.7 个词元,而 Mac 的速度为每秒 61.3 个词元。搭建者使用 llama.cpp 测试了这套配置,测试范围涵盖多种上下文长度(4 千至 12.8 万)和量化等级;该 V100 集群的能耗约为同等 P100 系统的一半。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论