谷歌推出开源 TorchTPU,可扩展至 8,192 个 Ironwood TPU,峰值 MFU 达 52%

据谷歌云官方博客称,谷歌在 2026 年 10 月 21 日举行的 PyTorch Conference 上宣布将 TorchTPU 开源。该项目由 Meta 的 PyTorch 团队共同开发,代码现已发布在 GitHub 上。TPU 现已成为 PyTorch 的原生硬件选项,与 GPU 和 CPU 并列,迁移仅需进行少量代码修改。包括 vLLM、SGLang、TorchTitan、VeRL 和 Ray 在内的框架均已集成对 TPU 的支持,Hugging Face Transformers v5 则可通过 device_map="tpu" 部署到 TPU 上。

测试显示,TorchTitan 在训练 Qwen 3 80亿模型时,模型浮点运算利用率(MFU)最高达到 52%,并可扩展至 8,192 个 Ironwood TPU。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论