2026年11月02日,英伟达详细介绍了面向 Vera Rubin NVL72 的 Kubernetes 配方的 AICR 验证。NVIDIA AI Cluster Runtime (AICR) 将经过调优的配置收录到可重复使用的配方中,生成部署包,并验证运行中的集群。这项工作旨在应对新 GPU 硬件所需的驱动程序、内核、运行时、网络、运算符和调度程序的协调复杂性;这些配方属于 NVIDIA DSX AI Factory Platform,并以 Preview 状态发布在开源 NVIDIA/aicr 仓库中。
Vera Rubin NVL72 是 NVIDIA MGX 第三代机架级架构的演进版本,但其集群配置与 GB200 NVL72 不同。经测试的主机安装式开源 GPU 驱动为 R615.23,而 AICR 的 GB200 基准版本为 R580.173.02。早期支持目标为 R610,官方平台支持则采用 R620;R615.23 是当前经过测试的版本,并非已确认的 Vera Rubin 官方支持最低版本。
参考设计以 NVIDIA ConnectX-9 SuperNIC 和 NVIDIA BlueField-4 DPU 取代 NVIDIA ConnectX-7 网卡和 NVIDIA BlueField-3 DPU。DOCA 3.3.0 是首个支持 ConnectX-9 的 GA 版本,经过验证的 Vera Rubin 系统映像使用 DOCA-OFED 3.3.0。这是测试平台所用的版本,并非要求或建议版本。AICR 使用主机安装式网卡驱动,并通过 DRANET 分配 Pod;Network Operator 兼容性仍需单独进行资格验证。
Vera Rubin NVL72 计算托盘的网卡/GPU/直接内存访问 (DMA) 拓扑与 GB200 不同。两种参考托盘都包含两颗 CPU 和四块 GPU,但 Vera Rubin 配备八组 ConnectX-9 PCI 设备,共有 32 个功能,而 NVIDIA DGX GB200 NVL72 计算托盘配备四个 ConnectX-7 适配器。在这两种托盘中,GPU 0 至 1 的 CPU NUMA 亲和性为 0,GPU 2 至 3 的亲和性为 1。GPU 到网卡的连接在同一插槽内为 NODE,跨插槽则为 SYS;PCI 功能数并不代表物理端口数。
与 GB200 NVL72 一样,多节点 NVIDIA NVLink 工作负载使用 IMEX。当 IMEX 由 DRA 管理时,必须停止、禁用并屏蔽主机的静态 nvidia-imex 服务,以防止所有权冲突。DRA 驱动 v0.5.0 新增了一个 alpha 主机管理选项,但仅支持域隔离;经过验证的集群使用 driverManaged 模式。Rubin GPU 引入了由 R615.23 提供的新 MIG 配置文件,但 AICR Vera Rubin 配方采用整块 GPU 分配,不配置 MIG。此次验证不涵盖 Vera Rubin 上的 MIG。
英伟达在 Vera Rubin 集群上部署了 AICR 运行时包,使用官方 GPU Operator v26.7.0 版本、官方 DRA 驱动 v0.5.0 版本,以及主机安装式 R615 驱动。训练和推理配方变体均通过了部署和一致性验证。训练配方还通过了性能门槛测试:通过 IMEX ComputeDomain,在 NVIDIA NVLink 网络上进行跨节点 NCCL all-reduce,并根据总线带宽下限进行检查。
第一轮验证曾因 Vera Rubin 早期集群中的一项硬件/网络故障而暂时受阻,该故障导致一个计算托盘未能接入 NVLink 网络。此问题与 GPU Operator 或 DRA 驱动无关。重新插拔硬件后,两个节点上的所有 GPU 均接入了同一套正常运行的网络。
训练性能检查记录到,在两个计算托盘上通过 IMEX ComputeDomain,使用多节点 NVLink 执行跨节点 NCCL all-reduce,在 16 GiB 时达到 744.71 GB/s 的总线带宽。部署检查通过了运算符运行状况、GPU Operator 版本、预期资源和 nvidia-smi 检查。一致性检查通过了平台和运算符运行状况、加速器指标、AI 服务指标、DRA/ComputeDomain 支持、KAI gang 调度、Pod 自动扩缩容以及安全加速器访问检查。Pod 自动扩缩容检查包括 HPA 扩容 (1->3) 和缩容 (3->1)。
使用 Dynamo 平台、推理网关、gang 调度和 DCGM 指标的推理变体,在同一集群上通过了相同的部署和一致性检查矩阵。推理服务性能仍暂缓验证:vLLM 在 v0.27.0 中合并了 Rubin (sm_107a) 支持,但 SM107 内核路径在构建时要求 NVIDIA CUDA >= 13.4,而 vLLM 自己发布的映像截至 v0.28.0 仍基于 CUDA 13.0.3 构建。ai-dynamo v1.4.2 固定使用 vllm-openai v0.26.0,早于相关代码;其尚未发布的 main 分支固定使用 v0.28.0,该版本并非基于 13.4 构建。VR200 推理性能下限测试需要使用基于 CUDA >= 13.4 构建、已发布的运行时映像,并在真实硬件上完成验证。
Vera Rubin 配方系列面向 rke2 服务和 Vera Rubin NVL72 (vr200) 加速器,包含 Ubuntu,以及训练、推理和 NVIDIA Dynamo 推理变体。该系列以 Preview 状态发布,属于面向早期采用者的方案;在平台正式发布前,它尚不具备 Supported 配方所具备的生产支持和生命周期资格认证。
该配方使用 Vera Rubin 系统映像中主机安装式 arm64 开源内核模块驱动,并将 GPU Operator 配置为 driver.enabled: false;容器工具包仍由运算符管理。官方构建版本发布后,配方将改用运算符管理的驱动。NVL72 网络启用了基于 IMEX 的 ComputeDomain,而整块 GPU 分配仍由设备插件负责。
平台要求包括 Kubernetes >= 1.34.1:Kubernetes 1.34 提供 ComputeDomain/IMEX 使用的 GA resource.k8s.io/v1 DRA API;由于 RKE2 CDI/NRI 工具包路径需要 containerd 2.1 (v1.34.1+rke2r1),因此需要 .1 补丁版本。配方还指定使用 Ubuntu 26.04 和针对 Vera 优化的 arm64 64k 页内核,并提高 NFD 拓扑更新器默认的 60Mi 内存限制,因为在多 TB NVL72 工作节点上,该默认值会导致内存不足 (OOM) 终止进程。
首次部署结合了 arm64、Ubuntu 26.04、64k 页内核、RKE2 和 Vera Rubin,并在集群交接后数小时内使运行时达到健康状态。第二个 Vera Rubin 集群在次日复现了这一结果。在运行中的集群上,AICR v1.0.0 工具链完成配方、部署包、快照以及部署和一致性验证流程约需五分钟;性能阶段还需加上 NCCL 作业本身的运行时间。
跨节点 ComputeDomain 测试使用两个节点,每个计算托盘上的 Pod 均申请 IMEX 通道。从应用配置到两个 Pod 进入运行状态——每个计算托盘各一个 Pod,分别注入 IMEX 通道,并让 IMEX 守护进程加入同一个域——约需 12 秒。同一条 ComputeDomain 路径也用于在真实工作负载流量下进行训练配方的 NCCL 性能门槛测试。
对于 GPU Operator v26.7.0 及更高版本,随附的 resource.nvidia.com_computedomains.yaml Custom Resource Definition (CRD) 副本要求设置 numNodes,且没有默认值。这一点对全新集群安装很重要;Helm 不会覆盖已安装的 CRD,因此升级 GPU Operator 的现有集群不受影响。在新集群上,必须在 ComputeDomain 清单中显式设置 numNodes。
Vera Rubin 上的 AICR 验证发现,go-nvlib 中有一个未映射的 Rubin 架构值,导致 DRA 驱动的 kubelet 插件不断崩溃重启。修复逐层传递,从 go-nvml 到 go-nvlib,再进入 GPU Operator、Kubernetes Device Plugin、MIG Manager 和 DRA 插件。从首次报告崩溃到在 Vera Rubin 硬件上验证构建版本,约用了三天。该修复 go-nvlib 0.11.0 → 0.12.0 已包含在官方 DRA 驱动 v0.5.0 版本中,因此 Vera Rubin 配方固定使用正式发布的标签,无需使用暂存构建版本。验证还发现,目前主机管理的 IMEX 守护进程和 DRA 管理的 ComputeDomain 不能共用一个节点;这一反馈促成了 DRA 驱动 v0.5.0 中发布的主机管理 IMEX 选项。
AICR 对 Vera Rubin NVL72 上的训练和推理配方变体进行了部署和一致性验证。训练配方还设有一项跨节点 NCCL all-reduce 性能门槛测试,该测试通过 IMEX ComputeDomain 在 NVLink 网络上进行,并记录了 16 GiB 时 744.71 GB/s 的总线带宽。
验证使用了官方 GPU Operator v26.7.0 版本、官方 DRA 驱动 v0.5.0 版本,以及主机安装式 R615 驱动。经测试的开源 GPU 驱动版本为 R615.23。配方指定使用 Kubernetes >= 1.34.1 和 Ubuntu 26.04,以及针对 Vera 优化的 arm64 64k 页内核。
不包含。推理变体通过了部署和一致性验证,但推理服务性能仍暂缓验证。文章指出,VR200 推理性能下限测试需要使用基于 CUDA >= 13.4 构建、已发布的运行时映像,并在真实硬件上完成验证。
相关快讯