家庭实验室搭建者仅用英特尔傲腾内存运行 2.8 万亿参数 AI 模型,警告极端高温会威胁 DRAM

INTC-5.98%
据 Tom's Hardware 报道,一位家庭实验室搭建者最近使用英特尔第二代 Optane PMem 200 内存,搭配 40 核第 3 代 Xeon Scalable CPU,仅依靠 CPU 进行推理,在采用 1 位量化的情况下运行了 Moonshot AI 的 2.8 万亿参数 Kimi K3 模型,速度达到每秒 0.85 个词元。这位搭建者警告称,Optane DIMM 在持续推理期间会产生大量热量,每个模块的功耗为 12-15W;若不主动散热,可能会危及相邻的 DRAM。Optane 模块在温度达到 83 摄氏度时会降频,达到 85 摄氏度时则会关闭,而 DDR4 服务器内存最高可耐受 95 摄氏度。这位搭建者使用了两台 12W 鼓风机控制温度,并计划在 Optane 旁边添加 GPU 以提升性能。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论