谷歌首次向 Meta 出售 TPU,并在数据中心部署这些芯片

GOOGL-0.98%
NVDA-1.92%
AMZN-0.29%

关键要点

  • 谷歌首次向 Meta 出售 TPU;Meta 将其部署在自己的数据中心,并通过原生支持 PyTorch 的引擎运行生产级 AI 工作负载。
  • Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 确认,在 Meta、谷歌和 RadixArk 合作后,SGLang-TorchTPU 已在 Meta 投入生产运行。
  • Inferact 的基准测试显示,Ironwood TPU 在 Kimi K3 模型上的吞吐量超过每秒 700 个词元,高于英伟达 GB200 的每秒 452 个词元。

据谷歌开发者博客上的公告,谷歌已在 Meta 的数据中心部署张量处理单元(TPU),用于生产环境中的 AI 工作负载,这标志着谷歌首次向外部客户销售 TPU。此次部署采用了谷歌、Meta 和 RadixArk 合作开发的新版 PyTorch 原生 SGLang 和 vLLM 推理引擎。Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 确认,经过三方合作,SGLang-TorchTPU 已在 Meta 正式投入生产运行。这一举措使谷歌定制的 AI 芯片成为 AI 加速器市场中的一种替代方案,而该市场目前由英伟达主导。

Meta 确认通过 PyTorch 原生引擎部署生产环境 TPU

Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 表示,经过“Meta、谷歌和 SGLang 团队的密切三方合作”,“SGLang-TorchTPU 今天已在 Meta 投入生产”。SGLang 团队来自 RadixArk,这是一家由 SGLang 创始人创立的初创公司;该公司与谷歌和 Meta 一同构建了这一引擎。Zhou 表示,该引擎为 Meta 提供了“非常成熟的 PyTorch 原生服务栈”。

Meta 的 PyTorch 工程总监 Jana van Greunen 在谷歌发布的 TorchTPU 动态中补充说,Meta“不能受限于单一硬件架构”,而 TorchTPU“使我们能够将 PyTorch 工作负载部署到谷歌 TPU 上”。

谷歌与 Meta 共同开发用于 PyTorch 工作负载的 TorchTPU 桥接方案

谷歌表示,它与 Meta 的 PyTorch 团队共同开发了 TorchTPU。新版本使 TPU 硬件成为 PyTorch 的原生选项,而且大多无需重写代码。此前,SGLang 和 vLLM 引擎都使用谷歌自家的 JAX AI 框架在 TPU 上运行。

谷歌称 PyTorch/XLA 是 PyTorch 与 TPU 之间较早的桥接方案,也是新款 TorchTPU 的“前身”。谷歌还宣布推出 vLLM 的开源版本,这是一款广泛使用的推理引擎。

Meta 此前于 2020 至 2023 年使用 TPU,随后取消合同

SemiAnalysis 去年报道称,Meta 研究团队在 2020 至 2023 年期间通过 PyTorch/XLA 桥接方案使用 TPU,之后 Meta 取消了相关合同。谷歌推动在 TPU 上运行 PyTorch,主要是为了满足 Meta 的需求,因为 Meta 不想迁移到 JAX。

虽然尚不清楚 Meta 的生产环境 TPU 位于何处,但据报道,去年双方曾讨论在 2026 年租用谷歌云 TPU,并于 2027 年购买;之后还有报道称,Meta 签署了一份多年期租赁协议。

Ironwood TPU 基准测试显示 Kimi K3 模型每秒处理 700 多个词元

据报道,针对 Moonshot AI 开放权重、拥有 2.8 万亿参数的 Kimi K3 模型优化的 vLLM 配置,在第七代 Ironwood TPU 上为单个用户提供服务时,速度超过每秒 700 个词元。该速度数据来自 Inferact,这家由 vLLM 创始人创立的初创公司曾协助谷歌构建 vLLM-TorchTPU。

Inferact 的测试使用 16 颗 Ironwood 芯片进行推测解码,并与 vLLM 发布的、在 16 颗英伟达 GB200 上运行的配置进行对比;后者达到每秒 452 个词元。在小批量规模下,其针对 Kimi K3 和 Qwen 3.8 27B 的内核在不进行推测解码的情况下,吞吐量约为 GB200 基准水平的 1.4 至 2 倍。

谷歌宣布前一天,亚马逊公布了用于 Trainium 芯片的 TorchNeuron

该公告发布前一天,亚马逊在同一场 PyTorch 大会上表示,将开源 TorchNeuron,这是其为 Trainium2 和 Trainium3 芯片打造的原生 PyTorch 后端。两项举措似乎都旨在减弱英伟达的软件锁定效应。

SGLang-TorchTPU 将继续扩展支持的模型,首先支持 DeepSeek V4.1 Flash 和 Reflection Beam。RadixArk 表示,正致力于在 2027 年第一季度前实现对新发布开源模型的 Day 0 TPU 支持,也就是在模型发布当天提供支持。谷歌、Meta 和 RadixArk 计划于 11 月 12 日至 13 日在旧金山举行的 SGLang Summit 2026 上分享更多信息。

常见问题

谷歌宣布了哪些有关 TPU 和 Meta 的消息?

谷歌在其开发者博客上宣布,其张量处理单元(TPU)现已在 Meta 的数据中心运行,用于生产环境中的 AI 工作负载,这标志着谷歌首次向外部客户销售 TPU。此次部署采用了谷歌、Meta 和 RadixArk 合作开发的新版 PyTorch 原生 SGLang 和 vLLM 推理引擎。

Ironwood TPU 与英伟达 GB200 相比表现如何?

Inferact 的基准测试显示,在 Moonshot AI 的 Kimi K3 模型上,使用 16 颗 Ironwood TPU 芯片的优化 vLLM 配置为单个用户提供服务时,速度超过每秒 700 个词元;而使用 vLLM 发布的配置运行在 16 颗英伟达 GB200 上时,速度为每秒 452 个词元。Ironwood 配置的测试使用了推测解码。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论