英伟达 Network Operator v26.7.1 新增 Spectrum-X 和 DRA 支持

关键要点

  • NVIDIA Network Operator v26.7.1 正式支持 Spectrum-X Reference Architecture 2.3,适用于搭载 Hardware Multiplane 的 ConnectX-8 SuperNIC,可用于 B300 和 GB300 部署。
  • 根据产品文档,NVIDIA Network Operator v26.7.1 要求 Kubernetes 版本 >=1.32 且 <=1.36,并搭配 DOCA-OFED doca3.5.0-26.07 GA 驱动或 doca3.2.2-25.10 LTS 驱动。
  • NVIDIA Network Operator v26.7.1 支持 NVIDIA GPU 与兼容 NIC 之间的 GPUDirect RDMA,适用于分布式 AI 训练、推理和生成式 AI 服务工作负载。

NVIDIA Network Operator v26.7.1 文档更新了 Kubernetes 网络功能。此版本文档介绍了 NVIDIA Network Operator v26.7.1 及其对 RDMA、SR-IOV、Spectrum-X、KubeVirt、OpenShift 和 GPU 网络的支持。此次更新旨在简化 Kubernetes 集群中 NVIDIA 网络资源的配置和管理。它整合了 NVIDIA 网络驱动程序、Kubernetes 设备插件、CNI 插件、IP 地址管理插件及其他组件,并可与 NVIDIA GPU Operator 配合使用,为横向扩展的 GPU 计算集群提供高吞吐量、低延迟的网络。

NVIDIA Network Operator v26.7.1 扩展 Kubernetes 网络功能

NVIDIA Network Operator 会自动安装所需的主机网络软件,并提供 Helm chart,以便在启用 NVIDIA 的节点上部署。其网络功能包括远程直接内存访问、SR-IOV 虚拟化、辅助网络、NVIDIA DOCA-OFED 驱动程序自动管理,以及通过 NicNodePolicy 支持异构集群。

RDMA 支持绕过 CPU 和内核网络堆栈进行内存到内存传输。该 Operator 支持 NVIDIA Quantum-X 网络架构上的 InfiniBand,以及 NVIDIA Spectrum-X 网络架构上的融合以太网 RDMA。SR-IOV 可将网卡划分为多个虚拟功能,实现硬件级隔离和性能提升。辅助网络支持包括主机设备网络、MacVLAN 网络、InfiniBand 网络上的 IP,以及 SR-IOV 网络。

该 Operator 支持多种应用场景,包括使用 GPUDirect RDMA 进行分布式 AI 训练、多节点 AI 推理和生成式 AI 服务、电信 CNF 和 DPDK 工作负载、使用 NVIDIA Rivermax 和基于 SR-IOV 的未压缩 SMPTE ST 2110 的媒体及广播管道、边缘 AI 和传感器流、高性能计算以及数据处理。

NVIDIA Network Operator 26.7.0 新增 Spectrum-X 和硬件多平面功能

发行说明列出了 26.7.0 引入的变更。NVIDIA 新增了对 Ubuntu 26.04、NVIDIA DGX GB300 Workstation 系统和 NVIDIA Spectrum-X Reference Architecture 2.3 的支持。Spectrum-X NIC 调优现在通过 Spectrum-X 配置文件 ConfigMap 提供,而非内置于 Reference Architecture 版本中。

采用 DOCA xPlane 的 Hardware Multiplane 已在 NVIDIA ConnectX-8 SuperNIC 上正式发布,适用于 Dual-Plane 和 Quad-Plane B300 及 GB300 部署。此次更新还通过 VRF CNI 元插件为 Spectrum-X 新增 IPv6 轨道隔离,并在 Spectrum-X Virtual Functions 上自动启用 Data Direct。

此版本新增了 NVIDIA Network Operator 自定义资源的部署和配置状态报告。NicClusterPolicy 和 NicNodePolicy 会公开每个组件的就绪状态,而 SpectrumXRailPoolConfig 则提供每个节点的配置状态。Red Hat OpenShift 上的 KubeVirt 支持可通过 SR-IOV VFIO 直通,将虚拟功能分配给 OpenShift Virtualization 虚拟机。

Tech Preview 可选设置 profile.spectrumX.useDRA 可让 NVIDIA Kubernetes Launch Kit 为 Spectrum-X 轨道生成 DRA ResourceClaimTemplate 资源,而不是 SR-IOV 设备插件资源请求。该设置默认禁用,要求使用 Kubernetes 1.34 或更高版本,并要求安装 Tech Preview DRA Driver for SR-IOV。此版本还通过运行时性能调优、RoCE 模式选择和额外的 QoS 控件扩展了 NIC 配置;NVIDIA ConnectX-9 SuperNIC Network Bay 配置则是面向 NVIDIA Vera Rubin NVL72 平台的 Tech Preview 功能。

NVIDIA Network Operator 支持 Spectrum-X 和 GPU 加速工作负载

NVIDIA Network Operator v26.7.1 在 26.7.x 版本系列中以 GA 支持级别支持 Spectrum-X Reference Architecture 2.3。支持的 Spectrum-X 配置包括使用 ConnectX-7 或 BlueField-3 SuperNIC 的 Single-Plane,以及使用 NVIDIA ConnectX-8 SuperNIC 的 Dual-Plane 或 Quad-Plane。Spectrum-X RA 2.3 使用 Upstream Kubernetes 1.35–1.36,并搭配 Ubuntu 24.04 LTS 或 Ubuntu 22.04 LTS。

该平台支持 Single-Plane、Dual-Plane 和 Quad-Plane 架构。对于 B300 和 GB300 平台,推荐使用 Hardware Multiplane 模式,并且需要 DOCA xPlane 来管理 OVS-DOCA 内部的平面故障切换。Network Operator 会发现 NIC、配置轨道,并将其作为可调度资源提供给 Pod,从而向 Kubernetes 暴露 Spectrum-X 网络。

与 NVIDIA GPU Operator 一同部署时,该 Operator 还可在 NVIDIA GPU 与受支持的 NIC 或 SuperNIC 之间启用 GPUDirect RDMA。文档列出的要求包括 NVIDIA GPU Operator v25.3.x 或更高版本、NVIDIA DOCA-OFED Driver doca3.1.0-25.07-0.9.7.0-0 或更高版本、nvidia_peermem 内核模块、Ampere、Hopper、Blackwell 或 Rubin 系列的受支持 NVIDIA GPU,以及受支持的 NVIDIA ConnectX 或 BlueField 网络硬件。

NVIDIA Network Operator 新增 KubeVirt 和 OpenShift Virtualization 直通支持

该 Operator 支持通过 VFIO PCI 直通,将 SR-IOV 虚拟功能分配给 KubeVirt 和 Red Hat OpenShift Virtualization 虚拟机。设置 deviceType: vfio-pci 后,VF 的 PCI 设备会通过 VFIO 用户空间接口直接传递到客户机,使数据路径绕过主机内核。

VFIO 直通要求硬件支持 IOMMU,并在启动时启用 IOMMU。Intel 系统使用 intel_iommu=on iommu=pt,AMD 系统使用 amd_iommu=on iommu=pt。使用 SR-IOV VFIO 直通的 VM 不支持实时迁移,VFIO 直通的 VF 也无法在主机侧使用 RDMA。客户机内部的 RDMA 由客户机映像附带的 mlx5_core 驱动程序提供。

NVIDIA Kubernetes Launch Kit 自动化网络部署

NVIDIA Kubernetes Launch Kit 是一款 CLI,可发现集群硬件、选择部署配置文件、生成 Kubernetes YAML 清单,并可选择部署这些清单。它支持 SR-IOV、RDMA、InfiniBand、Host Device、MacVLAN 和 Spectrum-X 配置,也支持混合 NIC 和 GPU 硬件的异构集群。

工作流程包括 Discover、Generate、Deploy 和 Validate 阶段。Discover 会探测 NIC、PCI 地址、RDMA 功能、依赖 OFED 的内核模块、GPU 拓扑和机器类型,然后写入 cluster-config.yaml。Generate 会生成带编号的 Kubernetes 清单,Deploy 会按依赖顺序应用这些清单,Validate 会检查清单状态、组件版本、Helm 发布信息和数据平面连接性。

Launch Kit 提供七种配置文件:sriov-ethernet、sriov-infiniband、host-device、macvlan-rdma-shared、ipoib-rdma-shared、spectrum-x 和 spectrum-x-ra2.1。它支持 Network Operator 26.1、26.4 和 26.7 版本系列,其中 Spectrum-X RA2.3 要求使用 26.7,Spectrum-X RA2.1 要求使用 26.1。

NVIDIA Network Operator 提供平台和生命周期支持

NVIDIA Network Operator v26.7.x 被列为受支持版本,26.4.x 被列为已弃用版本,26.1.x 及更低版本则已终止支持。文档列出的前置条件范围为 Kubernetes >=1.32 且 <=1.36、Helm v3.5+,以及 Node Feature Discovery >=0.15.6 且 <=0.17.0。

经过验证的网络适配器包括 NVIDIA ConnectX-6 和 ConnectX-6 Dx NIC、NVIDIA ConnectX-7 NIC、NVIDIA ConnectX-8 和 ConnectX-9 SuperNIC、NVIDIA BlueField-3 DPU,以及 NVIDIA BlueField-3 SuperNIC。此版本还记录了对 NVIDIA DGX/HGX B200、B300、GB200 NVL72、GB300 NVL72、DGX GB300 Workstation、NVIDIA RTX PRO 6000 Blackwell Server、NVIDIA IGX Orin、NVIDIA Grace ARM Server 和 NVIDIA Vera Rubin NVL72 系统的支持。

NVIDIA AI Enterprise 客户可使用适用于政府环境的组件。文档列出的经过验证的发行版包括搭配 Ubuntu Pro 24.04 amd64 和符合 FIPS 要求的内核的 Canonical Kubernetes 1.35,以及启用 FIPS 模式的 Red Hat OpenShift Container Platform 4.20 或更高版本。

NVIDIA Network Operator v26.7.1 部署信息

  • NVIDIA Network Operator v26.7.1 使用 YY.MM.PP 格式的日历版本编号。
  • 此版本支持 Kubernetes >=1.32 且 <=1.36。
  • NVIDIA Spectrum-X Reference Architecture 2.3 在 26.7.x 版本系列中正式发布。
  • 采用 DOCA xPlane 的 Hardware Multiplane 已正式发布,适用于使用 NVIDIA ConnectX-8 SuperNIC 的 Dual-Plane 和 Quad-Plane B300 及 GB300 部署。
  • DRA Driver for SR-IOV 是 Tech Preview 功能,不建议用于生产部署。
  • DRA SR-IOV 配置文件要求使用 Kubernetes 1.34 或更高版本,并安装 Tech Preview DRA Driver for SR-IOV。
  • 此版本最新的 DOCA-OFED GA 驱动程序为 doca3.5.0-26.07-0.7.7.0-1。
  • 此版本最新的 DOCA-OFED LTS 驱动程序为 doca3.2.2-25.10-2.4.1.0-4。
  • NVIDIA Network Operator v26.7.1 随附的组件镜像标签为 network-operator-v26.7.1。
  • NVIDIA Kubernetes Launch Kit 容器镜像为 nvcr.io/nvidia/cloud-native/k8s-launch-kit:v26.7.1。
  • Network Operator 源代码采用 Apache 2.0 许可证。

常见问题

NVIDIA Network Operator v26.7.1 管理什么?

NVIDIA Network Operator 会在 Kubernetes 中配置和管理 NVIDIA 网络资源。它会安装 NVIDIA 网络驱动程序、Kubernetes 设备插件、CNI 插件、IPAM 插件及其他组件,并支持 RDMA、SR-IOV、辅助网络、Spectrum-X、KubeVirt、OpenShift Virtualization 和 GPUDirect RDMA。

NVIDIA Network Operator 26.7.0 的主要变更有哪些?

26.7.0 的变更包括支持 Ubuntu 26.04、NVIDIA DGX GB300 Workstation 系统和 NVIDIA Spectrum-X Reference Architecture 2.3;采用 DOCA xPlane 的 GA Hardware Multiplane 在 NVIDIA ConnectX-8 SuperNIC 上支持 B300 和 GB300 部署;为 Spectrum-X 提供 IPv6 轨道隔离;在 Spectrum-X Virtual Functions 上启用 Data Direct;提供部署和配置状态报告;在 Red Hat OpenShift 上支持 KubeVirt;以及增加 NIC 性能和 QoS 配置选项。

NVIDIA Network Operator v26.7.1 支持 AI 工作负载吗?

支持。文档介绍了使用 GPUDirect RDMA 进行分布式 AI 训练、多节点 AI 推理和生成式 AI 服务、GPU 到 GPU 网络,以及 NVIDIA Spectrum-X 面向 AI 优化的以太网网络,可支持高带宽、无损的 RoCE 东西向流量。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论