谷歌宣布推出 TPU 8i 和 8t,与此同时,AI 服务器的内存成本已占硬件预算的 75%。

据 ChainCatcher 报道,谷歌于 9 月 1 日在 SEMICON Taiwan 宣布,高性能内存目前已占 AI 服务器硬件成本的 75%。为解决内存瓶颈,谷歌推出了用于低延迟推理的 TPU 8i,配备 288 GB 高带宽内存和 384 MiB 片上 SRAM;同时推出了用于大规模训练的 TPU 8t,由 9,600 个芯片共享总计 2 PB 的 HBM。谷歌还开发了 TurboQuant,这是一种无损量化算法,可将键值缓存从 32 位压缩至 3 位,使内存占用减少六倍,并将注意力操作速度提升八倍。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论