Meta开发MetaRoCE,将AI训练流量分散到多条网络路径上

关键要点

  • Meta 开发了 MetaRoCE,这是一种专有的 RoCE 传输协议,于 OCP 2026 上发布,可将 AI 训练流量分散到多条网络路径上以减少拥塞。
  • 根据 TechInsights 的超大规模市场追踪数据,截至 2026 年第二季度,60% 的正在运营的超大规模数据中心位于租赁设施中,其 IT 容量平均不到自建站点的一半。
  • Meta 的 BAG 层连接了解耦式调度网络架构与非调度网络架构技术,能够灵活整合分布在自有、租赁和公有云数据中心中的基础设施。

Meta 开发了 MetaRoCE,这是一种针对以太网上 AI 集群网络优化的传输协议,旨在将流量分散到多条路径,而不是像标准 RoCE 那样让每条数据流沿单一路径传输。该协议在 OCP 2026 上进行了介绍,体现了 Meta 连接分布式基础设施的方案——将自有、租赁和公有云算力整合起来,以支持跨地理分散的数据中心开展吉瓦级 AI 训练。根据 Meta 的说法,通过将流量分散到多条路径,MetaRoCE 可以减少拥塞热点;如果某条路径发生拥塞,还能有选择地重传受影响的数据,从而提高整体吞吐量。

超大规模云服务商面临着按不同时间线组建 AI 基础设施的挑战:数据中心建设需要数年,电力供应可能延误部署,而芯片采购则需要提前规划。根据 TechInsights 的超大规模市场追踪数据,截至 2026 年第二季度末,60% 的运营中超大规模数据中心位于租赁设施中,而这些设施占超大规模运营商 IT 容量的 41%。这意味着租赁站点的平均 IT 容量不到自建站点的一半,因此需要连接许多较小容量的区块,而不是少数几个大型区块。

Meta 的分布式数据中心架构

连接不同建筑、园区或邻近区域的资源,需要整合可能采用不同 GPU 厂商或 SKU、网络拓扑和网络架构技术的基础设施。对于同步训练工作负载,速度最慢或拥塞最严重的路径可能会限制性能。Meta 在 OCP 2026 上介绍的方案中,每个集群子区域都设有一个以太网超脊交换层,充当“骨干网的骨干网”,将多个脊层网络架构互连成一个横跨不同建筑、园区和区域的超大集群。

距离会带来延迟限制,因为光在光纤中每公里单向传输大约需要 5 微秒。这一延迟限制决定了集群能够扩展到多远,同时还能维持训练工作负载所需的网络行为。Meta 使用两种主要的网络架构技术构建其 Layer 2 网络:分布式调度网络架构(DSF)和非调度网络架构(NSF)。BAG(后端聚合)层充当通用层,可兼容这些不同的 L2 网络。BAG 之间采用平面式互连设计,各区域在 BAG 层一对一连接,随后流量分散到每个区域 Layer 2 网络架构中的多个子集。这种方法可以连接不同的区域网络域,而无需底层 L2 网络架构完全相同。

MetaRoCE 协议与多路径流量分配

在软件层面,MetaRoCE 是 Meta 自行开发的 RoCE(融合以太网上的 RDMA)版本。RoCE 是一种传输协议,可让一块 GPU 访问另一块 GPU 的内存,而无需 CPU 参与。标准 RoCE 通常让每条数据流沿单一路径传输,这可能造成拥塞热点。MetaRoCE 则将单条数据流中的数据分散到多条路径上。当某条路径发生拥塞时,流量可以改道至其他可用路径,且只需重传受影响的数据。根据 Meta 在 OCP 2026 上介绍的信息,与单路径路由相比,这种多路径方式可大幅提高吞吐量。

关键事实

  • MetaRoCE 是 Meta 自行开发的 RoCE(融合以太网上的 RDMA)版本,针对以太网上的 AI 集群网络进行了优化
  • 标准 RoCE 让每条数据流沿单一路径传输;MetaRoCE 将数据流中的数据分散到多条路径上,以减少拥塞
  • Meta 在 OCP 2026 上介绍了 MetaRoCE 架构
  • 根据 TechInsights 的超大规模市场追踪数据,截至 2026 年第二季度末,60% 的运营中超大规模数据中心位于租赁设施中
  • 截至 2026 年第二季度,租赁设施占超大规模运营商 IT 容量的 41%
  • 光在光纤中每公里单向传输会产生约 5 微秒的延迟
  • Meta 的分布式 AI 基础设施覆盖自有、租赁和公有云数据中心,以支持吉瓦级 AI 训练
  • Meta 使用两种主要的 Layer 2 网络架构技术:分布式调度网络架构(DSF)和非调度网络架构(NSF)
  • BAG(后端聚合)层充当连接不同 L2 网络的通用层
  • 每个集群子区域都设有一个以太网超脊交换层,充当“骨干网的骨干网”,将多个脊层网络架构互连起来

常见问题

什么是 MetaRoCE?它与标准 RoCE 有何不同?

MetaRoCE 是 Meta 自行开发的 RoCE(融合以太网上的 RDMA)版本。这是一种传输协议,可让一块 GPU 访问另一块 GPU 的内存,而无需 CPU 参与。标准 RoCE 让每条数据流沿单一路径传输,可能造成拥塞热点;与之不同,MetaRoCE 会将单条数据流中的数据分散到多条网络路径上。如果某条路径发生拥塞,这种多路径分配方式可以让流量改道,且只需重传受影响的数据,从而比单路径路由提高整体吞吐量。

为什么连接分布式数据中心基础设施对 AI 训练工作负载而言具有挑战性?

连接不同建筑、园区或区域的资源,需要整合可能采用不同 GPU 厂商或 SKU、网络拓扑和网络架构技术的基础设施。对于同步 AI 训练,速度最慢或拥塞最严重的网络路径可能会限制整个工作负载的性能。此外,距离会带来延迟限制——光在光纤中每公里单向传输大约需要 5 微秒——这决定了集群能够扩展到多远,同时还能维持训练工作负载所需的网络行为。截至 2026 年第二季度,60% 的运营中超大规模数据中心位于租赁设施中,而这些设施的平均 IT 容量不到自建站点的一半,因此需要整合许多较小容量的区块,而不是少数几个大型区块。

Meta 的 BAG 层如何实现不同网络架构技术之间的互连?

Meta 的 BAG(后端聚合)层充当通用层,连接不同的 Layer 2 网络架构技术,具体包括分布式调度网络架构(DSF)和非调度网络架构(NSF)。BAG 之间采用平面式互连设计,各区域在 BAG 层一对一连接,随后流量分散到每个区域 Layer 2 网络架构中的多个子集。这种架构方案使 Meta 能够连接不同的区域网络域,而无需底层 L2 网络架构完全相同,从而灵活整合自有、租赁和公有云数据中心的基础设施。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论