英伟达的 MLPerf Training v6.0 DeepSeek-V3 6710 亿参数实现,在 256 块 GB300 GPU 上使用完整迭代 CUDA 图进行无丢弃 token 的 MoE 训练。设备发起的分组 GEMM 和无同步 HybridEP 分发使专家区域可以被捕获,而分页暂存则减少了反向传播期间保留的内存。根据英伟达文档,完整 CUDA 图执行结合分页暂存,相比不使用 CUDA 图的执行方式可带来 1.68× 的训练加速,并将 GPU 内存用量从 221 GB 降至 209 GB。
DeepSeek-V3 是一种混合专家(MoE)语言模型,每个 token 都会选择一组专家,专家并行(EP)则将这些专家分布到多块 GPU 上。与稠密前馈层不同,分配给每个专家的工作量会随输入和路由器决策而变化。无丢弃 token 训练会保留每个 token 的专家分配,因此每个专家处理的 token 数量会在不同微批次之间变化,并在原本固定大小的训练工作负载中产生动态张量形状。即使序列长度和微批次大小固定,不同 token 也会选择不同专家,而 CUDA 图重放无法重复即时分发器所做的主机端内存分配决策。因此,专家区域使用驻留在 GPU 上的形状元数据和预分配缓冲区,以支持图重放期间不断变化的工作负载。
英伟达的 MLPerf Training v6.0 实现使用 Megatron-Bridge、Megatron-Core、PyTorch 和 Transformer Engine (TE) 训练 6710 亿参数模型。该配置运行在 64 个 GB300 节点上,每个节点配备 4 块 GPU,总计 256 块 GPU。分布式训练采用 TP=1、PP=4、EP=32、CP=1,并使用交错流水线调度。训练使用 MXFP8 混合精度和真实路由器决策,MOE_ROUTER_FORCE_LOAD_BALANCING=False。专家执行结合了 HybridEP 分发和 TE 融合分组 MLP 操作,激活值存储则使用分页 CUDA 缓冲区,并可选用固定页锁定主机内存池。
该实现使用 Megatron 的 FullCudaGraphWrapper 捕获跨微批次的前向和反向调度。外围的 PagedStashRunner 会在梯度传递给优化器之前处理接收预算和暂存溢出检查。捕获的图包括 MoE 分发、置换、分组专家计算和组合操作,以及设备端暂存与恢复内核及其流依赖关系。数据加载、微批次输入准备、主机端溢出决策和协调即时重试仍在图外执行。优化器更新通过 OPTIMIZER_CG=True 单独制图。
预热会在图捕获前按预期的微批次和流水线调度运行。提交的方案设置 CUDA_GRAPH_WARMUP_STEPS=2,必须先完成调度记录和暂存缓冲区准备,才能开始稳态重放。
传统的主机发起分组 GEMM 需要 CPU 端的每个专家 token 数量来选择 GEMM 形状并启动运算,而这项查询会阻止 CUDA 图捕获。设备发起的分组 GEMM 直接从设备内存读取形状,因此其静态启动配置既支持变化的运行时工作量,也能跳过未使用的容量。TE 提供两种实现。第一种是 cuBLASLt 分组 GEMM,从 CUDA 13.1 开始支持设备端矩阵形状数组。第二种是 CuTe DSL 分组 GEMM,支持融合 SwiGLU,并在受支持的 FP8 配置下支持融合量化。精度和融合支持范围取决于具体实现。
专家 MLP 通过 TE 操作融合器路径,将 GPU 上的 tokens_per_expert 张量传递给两个分组线性操作。在一个文档示例中,重放时 token 数量从 [96,160] 变为 [144,112],而按容量分配的内存保持不变;分组操作会使用更新后的分段长度。GB300 方案通过 NVTE_CUTEDSL_FUSED_GROUPED_MLP=1 启用 CuTe DSL 融合分组 MLP,并通过 USE_TE_OPS=True 启用操作融合器路径。
GB300 方案选择 MOE_TOKEN_DISPATCHER_TYPE=flex、MOE_FLEX_DISPATCHER_BACKEND=hybridep 和 MOE_EXPERT_RANK_CAPACITY_FACTOR=4。HybridEP 使用配置的 rank 预算预先分配接收和置换缓冲区,使捕获的调度期间接收 token 数量始终保留在 GPU 上。设备发起的分组 GEMM 消除了专家计算所需的主机查询,而无同步分发则消除了通信输出大小所需的相应查询。GPU 驻留元数据在整个图重放过程中连接分发、专家计算和组合操作。rank 容量系数用于根据均衡路由情况确定接收缓冲区大小。
分页暂存将临时专家计算存储与保留到反向传播阶段的已保存激活值分开。每个激活值都会经过四个阶段。前向计算期间,HybridEP 分发使用预分配缓冲区,TE 分组专家则使用 GPU 上的 token 数量。前向计算完成后,GPU 内核会从空闲列表中获取页面,并将有效激活区域复制到内存池中;每个已保存激活值都会保留描述其存储位置的页面记录。复制完成后,临时存储即可释放,以供后续层和微批次重复使用。反向传播前,GPU 内核会在专家反向传播所需的缓冲区中重建激活值,并归还其页面以供重复使用。
预分配内存池使用由 GPU 内核管理的固定大小页面,因此图重放期间页面所有权和有效长度可以变化,而无需在主机端为每个激活值单独分配内存。暂存和恢复复制在专用 CUDA 侧流上运行,因此可以与专家计算重叠。Megatron 会在预热期间记录执行顺序,并使用前置/后置调度 autograd 函数,在专家计算前后安排暂存和恢复工作。流依赖关系可确保暂存操作在其源存储被重用之前完成,恢复操作则在反向传播读取数据之前完成。
静态执行路径会检测两种溢出情况:接收 token 数量超过 rank 预算,以及已保存激活值超过可用暂存页面数量。Megatron 的 PagedStashRunner 会在前向和反向传播之后检查各 rank 的接收预算和暂存溢出状态。成功时,它会将结果返回训练循环。失败时,它会清除梯度、使受影响的图失效、禁用固定容量分发和分页暂存,并以无丢弃 token 模式对相同微批次进行即时重跑。重试成功后,运行器会为后续步骤恢复已配置的容量和暂存设置。重置图也会重置其预热计数器,因此在达到配置的预热次数并捕获新图之前,执行会保持即时模式。
对于在 256 块英伟达 GB300 GPU 上进行的 DeepSeek-V3 6710 亿参数模型训练,完整 CUDA 图执行结合分页暂存,相比不使用 CUDA 图的 1.00× 基准性能,可实现 1.68× 的训练加速。不使用 CUDA 图时,GPU 内存用量为 221 GB;使用完整 CUDA 图和分页暂存后,降至 209 GB,减少了 12 GB(5.4%)。文档指出,分页暂存只会在页面池中保留有效激活值,从而避免为每一层和每个等待反向传播的在途微批次都保留未使用容量。暂存和恢复复制会占用内存带宽,而页面记录、内存池余量和临时缓冲区也会增加内存占用。
英伟达的 MLPerf Training v6.0 实现运行在 64 个 GB300 节点上,每个节点配备 4 块 GPU,总计 256 块 GPU。分布式训练采用 TP=1、PP=4、EP=32、CP=1,使用交错流水线调度和 MXFP8 混合精度。
英伟达文档报告称,在 256 块 GB300 GPU 上使用完整 CUDA 图执行和分页暂存训练 DeepSeek-V3 6710 亿参数模型,训练速度达到不使用 CUDA 图时 1.00× 基准性能的 1.68×。GPU 内存用量也从 221 GB 降至 209 GB,减少了 12 GB(5.4%)。
当路由超出 rank 容量预算,或已保存激活值超过可用暂存页面时,Megatron 的 PagedStashRunner 会清除梯度、使受影响的图失效、禁用固定容量分发和分页暂存,并在优化器更新前以无丢弃 token 模式即时重跑相同微批次。重试后,已配置的容量和暂存设置会为后续步骤恢复。
相关快讯
删除式微调仅将不到 0.05% 的大语言模型权重置零,效果便可媲美全量微调
Meta 推出 Muse Ember 高效模型,面向大批量智能体任务
CyberLink FaceMe 在英特尔 Core Ultra 处理器上实现 20 倍速度提升
英伟达 API 目录列出 Moonshot AI 的 Kimi K3.1 Pro 多模态模型
英特尔宣布推出采用 18A 工艺的 Core Series 3,并宣布 GPU D 系列样品