NVIDIA 于 2026年11月06日推出了 Reshard 集合通信原语,用于强化学习权重重拟合。开源 NCCL M2N Reshard 参考实现将重拟合重新表述为训练与推理 GPU 布局之间的 DTensor 到 DTensor 划转。NVIDIA 报告称,在 NVIDIA DGX H100 和 NVIDIA DGX GB200 系统上的 NeMo RL 基准测试中,相比传统的聚合并广播式重拟合,速度提升了 2.7x 至 5.7x。
在强化学习后训练期间,推理会使用当前策略模型生成训练轨迹,而训练则在独立的 GPU 资源上运行。虽然策略模型在训练 GPU 上更新,但其最新参数必须定期传输到推理 GPU。这种传输称为重拟合。
Reshard 集合通信原语取代全张量重拟合传输
训练和推理的计算需求不同,因此可以通过不同的数据、上下文、张量、专家和流水线并行映射来分布权重。传统重拟合通常采用聚合并广播:训练 GPU 对本地分片执行全聚合以重建完整参数,将完整张量广播到推理 GPU,然后由每个推理 GPU 保留本地布局所需的分片。
这种方法会造成冗余通信,因为即使推理 GPU 只需要一个分片,也会收到完整参数。假设 BF16 权重每个参数占两字节,Kimi K3 包含 2.8 万亿个参数,权重大小约为 5.6 TB;Qwen 3.8 2.4T A95B 包含 2.4 万亿个参数,权重大小约为 4.8 TB。计入全聚合和广播后,估算的逻辑重拟合负载分别约为 11.2 TB 和 9.6 TB。
DTensor 重分片映射训练与推理布局
Reshard 集合通信原语将权重重拟合重新表述为把 PyTorch 分布式张量(DTensor)从训练布局重分片到推理布局。DTensor 布局描述张量的全局形状、指定 GPU 逻辑排列方式的设备网格,以及指定张量如何在该网格上分片或复制的放置方式。
对于一个 8 x 8 的权重矩阵,若在两张训练 GPU 上按行拆分,并在四张推理 GPU 上按列拆分,则每张训练 GPU 持有一个 4 x 8 分片,每张推理 GPU 需要一个 8 x 2 分片。每个目标 GPU 都会从每个源 GPU 接收一个 4 x 2 区域,而不是重建完整矩阵。
NCCL M2N Reshard 是一个开源参考实现,可通过 NVIDIA/nccl-extensions GitHub 仓库获取。它基于 NCCL 构建,可将分布在 M 张源 GPU 上的张量传输为 N 张目标 GPU 所需的布局。在 RL 重拟合中,训练 GPU 组成源组,推理 GPU 组成目标组。
NCCL M2N Reshard 使用 NVLink 域复制
NCCL M2N Reshard 会计算源分片与目标分片之间的精确交集,并将传输映射到物理 GPU 网络拓扑上。它按 NVIDIA NVLink 域对副本分组,并尽可能均匀地将传入数据分配到各副本 rank。随后,接收 rank 会通过 NVLink 交换子集,使每个副本都能组装出完整分片,同时避免重复网络流量。
对于 TP4 到 TP2 x DP2 的传输,如果四张目标 GPU 都位于同一个 NVLink 域,直接点对点传输会将每个源分片发送到两个数据并行副本,因此需要进行八次网络传输。NCCL M2N Reshard 会将每个源分片仅通过网络发送一次,共需四次传输,再通过本地 NVLink 交换完成两个副本的组装。网络传输与 NVLink 交换会并发进行。
NeMo RL 使用混合 Reshard 权重重拟合
NVIDIA 在开源 NVIDIA NeMo RL 框架中提供了参考实现。在最新的 LLM 中,前馈投影权重约占模型参数的 95%,因此混合设计会对这些占主导地位的权重采用 Reshard 路径。其他较小的权重,包括 QKV 投影权重或 mamba 权重,则采用传统的聚合并广播路径,以实现广泛的功能覆盖。
目前,当故障恢复期间 GPU 成员发生变化时,NeMo RL 会销毁并重新创建通信组,以提供弹性支持。未来更新计划通过 NCCL shrink 和 grow API 提供弹性支持。
NVIDIA DGX 基准测试显示速度提升 2.7x 至 5.7x
在 NeMo RL 基准测试中,Reshard 重拟合在 NVIDIA DGX H100(NVL8)和 NVIDIA DGX GB200(NVL72)系统上的速度相比传统聚合并广播式重拟合提升了 2.7x 至 5.7x。在 NVIDIA DGX H100 上,Qwen 3 235B 的耗时从 6.4 s 降至 1.9 s,DeepSeek v3 671B 的耗时从 14.9 s 降至 2.6 s。在 NVIDIA DGX GB200 上,DeepSeek v3 671B 的耗时从 6.1 s 降至 2.3 s,Nemotron Ultra v3 的耗时从 8.2 s 降至 2.3 s。
在仅测试重拟合的微基准测试中,Qwen3.8 2.4T BF16 模型的 Reshard 重拟合耗时为 4.3 秒。
Reshard 重拟合配置保留技术细节
NeMo RL 配置通过禁用策略生成与训练并置,并将 refit_transport 设为 nccl_reshard,来启用 Reshard 重拟合路径。NeMo RL 重拟合指南和 NCCL Reshard 配置要求介绍了支持的后端、布局和精度模式。
- NVIDIA 于 2026年11月06日推出了 Reshard 集合通信原语。
- NCCL M2N Reshard 是 NVIDIA/nccl-extensions GitHub 仓库中的开源参考实现。
- Kimi K3 包含 2.8 万亿个参数,BF16 权重约为 5.6 TB,估算的聚合并广播式重拟合负载约为 11.2 TB。
- Qwen 3.8 2.4T A95B 包含 2.4 万亿个参数,BF16 权重约为 4.8 TB,估算的聚合并广播式重拟合负载约为 9.6 TB。
- 在最新的 LLM 中,前馈投影权重约占模型参数的 95%。
- 在 NeMo RL 基准测试中,Reshard 重拟合相比传统聚合并广播式重拟合,速度提升了 2.7x 至 5.7x。
- 在仅测试重拟合的微基准测试中,Qwen3.8 2.4T BF16 模型的 Reshard 重拟合耗时为 4.3 秒。
- NeMo RL 配置使用 refit_transport: nccl_reshard。
常见问题
NVIDIA Reshard 集合通信原语有什么用途?
Reshard 集合通信原语主要用于加速强化学习权重重拟合,将训练 GPU 上源 DTensor 分布中的值传输到推理 GPU 上目标 DTensor 分布中。
Reshard 重拟合比聚合并广播式重拟合快多少?
在 NVIDIA DGX H100(NVL8)和 NVIDIA DGX GB200(NVL72)系统上的 NeMo RL 基准测试中,Reshard 重拟合相比传统聚合并广播式重拟合,速度提升了 2.7x 至 5.7x。
哪个模型的 Reshard 重拟合耗时为 4.3 秒?
在仅测试重拟合的微基准测试中,Qwen3.8 2.4T BF16 模型的 Reshard 重拟合耗时为 4.3 秒。