据谷歌云官方博客称,谷歌在 2026 年 10 月 21 日举行的 PyTorch Conference 上宣布将 TorchTPU 开源。该项目由 Meta 的 PyTorch 团队共同开发,代码现已发布在 GitHub 上。TPU 现已成为 PyTorch 的原生硬件选项,与 GPU 和 CPU 并列,迁移仅需进行少量代码修改。包括 vLLM、SGLang、TorchTitan、VeRL 和 Ray 在内的框架均已集成对 TPU 的支持,Hugging Face Transformers v5 则可通过 device_map="tpu" 部署到 TPU 上。
测试显示,TorchTitan 在训练 Qwen 3 80亿模型时,模型浮点运算利用率(MFU)最高达到 52%,并可扩展至 8,192 个 Ironwood TPU。