英伟达详解为 AI 推理协同设计的五项内存优化手段

关键要点

  • 英伟达于 2026 年 11 月 05 日推出五项协同设计的内存技术,针对 HBM、CPU 内存和存储系统优化 AI 推理。
  • 与 FP16 相比,英伟达 NVFP4 可将模型占用空间缩减至原来的约 1/3.5;与 FP8 相比,可将 KV 缓存减少最多 50%,同时将吞吐量提升至 4 倍。
  • 在 SemiAnalysis AgentX 测试中,当 Vera Rubin NVL72 达到每位用户每秒处理 160 个 token 时,其每兆瓦吞吐量是 GB300 NVL72 的 30 倍。

英伟达在 2026 年 11 月 05 日发布的一篇技术博客中详细介绍了五种协同设计的内存技术。这些技术涉及 AI 推理如何使用 HBM、服务软件、CPU 内存和存储。英伟达表示,这种系统级方法能让每个字节支持更多有效工作;在每 GPU 同样配备 288 GB 内存的情况下,Vera Rubin NVL72 的每兆瓦吞吐量最高可达 GB300 NVL72 的 30 倍。

英伟达 NVFP4 降低模型和 KV 缓存的内存占用

英伟达的 NVFP4 格式采用 4 位 E2M1 数值和两级缩放:每个包含 16 个数值的微块共用一个 FP8 (E4M3) 缩放因子,每张量 FP32 缩放因子则应用于整个张量。英伟达表示,与 FP16 相比,这种设计可将模型占用空间减少约 3.5 倍;与 FP8 相比,则可减少 1.8 倍,从而为 KV 缓存、更大的批次和更高的并发度留出更多 HBM。

NVFP4 是对准确率要求严格的开放式智能体基准测试的默认精度,包括 AA-AgentPerf、SemiAnalysis AgentX 和 MLPerf Endpoints。在这些基准测试以及领先的混合专家 (MoE) 架构中,英伟达报告称,在交互性相同的情况下,吞吐量最高可达 FP8 基线的 4 倍。对于 GB300 上的 DeepSeek R1,博客称,在每位用户每秒约 150 个 token 的情况下,每兆瓦吞吐量提升 4 倍。

与 FP8 相比,NVFP4 KV 缓存可将缓存占用减少多达 50%,使设备上可驻留的上下文量约增加 2 倍。英伟达表示,在 10 项 DeepSeek-v4-Pro 基准测试中,其得分达到 BF16 基线的 99% 以上。更小的缓存还会在解码期间消耗更少带宽,而更少的驱逐则有助于在预填充期间提高缓存命中率。

TensorRT-LLM 广域专家并行分散 MoE 权重

英伟达 TensorRT-LLM 中的广域专家并行 (Wide-EP) 会将专家分散到 8 个或更多 GPU 上。对于 EP64 下的 DeepSeek-R1,每个 GPU 在每层保存 4 个专家,即在 58 个 MoE 层中保存 232 个专家块,而完整模型共有 14,848 个专家块。英伟达表示,这让每个 GPU 能为 KV 缓存、更大的批次和更高的并发度留出更多 HBM。

Wide-EP 还能提高算术强度:GroupGEMM 内核会让每个已加载权重服务更多 token,从而提高每字节 FLOPs。专家并行负载均衡器会在前向传递之间重新分配热门和冷门专家,避免某个 GPU 负载过重而另一个 GPU 闲置。

该设计依赖高带宽连接来传输全对全分发与合并流量。在 GB200 NVL72 上,130 TB/s 的 NVLink 总带宽可支持这些流量。在每位用户每秒 100 个 token 的情况下,大规模 EP (EP32) 的每 GPU 输出 token 吞吐量最高可达小规模 EP (EP8) 的 1.8 倍。博客还报告称,在每位用户每秒 100 个 token 的情况下,GB300 NVL72 的每兆瓦吞吐量达到 H200 NVL8 的 10 倍。

Vera Rubin NVL72 将这一方法扩展至每个 Rubin GPU 最多 288 GB HBM4 和 3.0 TB/s 的 NVLink 6 带宽,整个机架约有 20.7 TB HBM4。Rubin 还增加了内联内存张量加速器 (TMA) 描述符更新,使一个共享描述符能够以通用布局服务所有专家,并随着专家数量增加而降低元数据开销。

英伟达 Dynamo 在整个集群中路由和复用 KV 缓存

英伟达 Dynamo 将 KV 缓存视为整个集群的资源,而非单个 GPU 的副作用。其 KV 感知路由器会跟踪 KV 块的位置,并在分配请求时考虑缓存前缀重叠和工作节点负载,帮助将可能发生的重复计算转化为缓存命中。

Dynamo 的解耦式服务会将预填充和解码分配到不同的 GPU 池,并根据各自的计算和内存特征配置资源。解码 GPU 可以将 HBM 专用于 KV 缓存和批次大小,而不必为突发式预填充预留余量。

KV 缓存运行器 (KVCR) 会跟踪已配置的 GPU、固定 CPU 内存和存储层中的数据块,包括本地 SSD 和挂载的网络文件系统。它可以恢复保存在 HBM 之外的前缀,通过从对等节点获取缓存上下文来支持分布式复用,并在 GPU 处理其他任务时通过英伟达推理传输库 (NIXL) 移动数据块。推理引擎仍掌控 GPU 内存和本地主机卸载。只要守护服务和主机仍可用,KVCR-Guard 就能在引擎故障时保留已提交的、由 KVCR 管理的主机内存缓存。

在单独的验证测试中,VAST Data 使用 GPUDirect Storage 向一块 H100 GPU 展示了 35 GB/s 的吞吐量;WEKA 则通过定制 NIXL 插件,在 8 块 H100 GPU 上展示了最高 270 GB/s 的总读取吞吐量。另一项 VAST 测试在 DGX H100 系统上使用 vLLM 和 LMCache,结果显示,对于带有 130K-token 提示词的 Qwen3-32B,加载已存储的 KV 缓存而非重新计算,可缩短首个 token 的生成时间。

英伟达 Vera CPU 将非活跃上下文暂存到 GPU HBM 之外

智能体会话在 GPU 模型步骤和 CPU 侧工作之间交替进行,例如调用工具、执行代码、检索、数据库查询和沙箱评估。在这些间隙中,保存在 HBM 中的 KV 缓存会占用容量,却无法支持活跃的 token 生成。如果缓存被驱逐,会话恢复时模型可能必须通过预填充重新构建上下文。

英伟达 Vera CPU 配备 88 个 Olympus 核心,单线程性能提升 1.8 倍,峰值负载延迟比 x86 CPU 低 40%,每个核心的内存带宽最高可达 14 GB/s。每颗 Vera CPU 可提供最高 1.5 TB LPDDR5X,容量超过单个 Rubin GPU HBM4 容量的 5 倍。英伟达 NVLink-C2C 以 1.8 TB/s 的速度将 Vera 内存与 Rubin 进行一致性连接,带宽约为 x16 PCIe Gen 6 链路 256 GB/s 的 7 倍。

在工具调用期间,Dynamo 的 KV 块管理器可以将非活跃会话的缓存暂存到 Vera 内存中,并在智能体恢复时通过 NVLink-C2C 将其取回。这样既能让 HBM 留给正在生成 token 的会话,也能让暂停的会话避免重复预填充。

英伟达 CMX 增加共享的 G3.5 KV 缓存层

英伟达 CMX 上下文内存存储增加了 Pod 级 G3.5 层:一种通过以太网连接、在整个 Pod 内共享并针对 KV 缓存优化的闪存层。它基于英伟达 STX 参考设计构建,整合了 BlueField-4 STX、Spectrum-X Ethernet、DOCA Memos、Dynamo 和 NIXL。

BlueField-4 STX 存储处理器负责管理 NVMe SSD、运行存储服务,以及卸载 KV 缓存数据移动、数据完整性和加密工作。其集成的英伟达 Vera CPU 可加速 CPU 侧存储处理。Spectrum-X Ethernet 为计算节点和 CMX 存储节点之间提供低延迟、高带宽的 RDMA 访问。英伟达 DOCA Memos 在 BlueField-4 上提供 KV 感知服务和 I/O 控制,Dynamo 和 NIXL 则将 CMX 集成为整个 Pod 的上下文层。

英伟达表示,在一个节点上计算一次的前缀,可以在 Pod 中兼容的模型实例之间复用,从而减少节点间重复预填充和闲置的 KV 缓存容量。公司报告称,对于长上下文推理,CMX 相比传统存储可实现最高 5 倍的每秒 token 数,以及最高 5 倍的能效。

英伟达协同设计结合五种内存效率技术

英伟达将这五种方法概括为:使用 NVFP4 减少不必要的比特数,使用 Wide-EP 减少冗余权重副本,使用 Dynamo 避免重复计算,使用 Vera 将非活跃上下文移出 HBM,以及使用 CMX 在节点间共享 KV 缓存。博客称,这些组件作为一个内存系统协同设计,收益可在 HBM、Vera 内存和 CMX 之间叠加。

  • 英伟达 NVFP4 使用 4 位 E2M1 数值、每个包含 16 个数值的微块共用一个 FP8 (E4M3) 缩放因子,以及每张量 FP32 缩放因子。
  • 与 FP16 相比,NVFP4 可将模型占用空间减少约 3.5 倍;与 FP8 相比,则可减少 1.8 倍。与 FP8 相比,NVFP4 KV 缓存可将缓存占用减少多达 50%。
  • 英伟达报告称,在文中所述的基准测试和领先的 MoE 架构中,交互性相同的情况下,吞吐量最高可达 FP8 基线的 4 倍。
  • EP64 下的 DeepSeek-R1 每层在每个 GPU 上保存 4 个专家;在 58 个 MoE 层中共保存 232 个专家块,而完整模型共有 14,848 个。
  • GB200 NVL72 的 NVLink 总带宽为 130 TB/s;在每位用户每秒 100 个 token 的情况下,EP32 的每 GPU 输出 token 吞吐量最高可达 EP8 的 1.8 倍。
  • Vera Rubin NVL72 为每个 Rubin GPU 提供最高 288 GB HBM4 和 3.0 TB/s 的 NVLink 6 带宽,整个机架约有 20.7 TB HBM4。
  • 英伟达 Vera CPU 配备 88 个 Olympus 核心、最高 1.5 TB LPDDR5X,并通过 1.8 TB/s 的 NVLink-C2C 与 Rubin 进行一致性连接。
  • CMX 是基于英伟达 STX 参考设计构建的 Pod 级 G3.5 存储层,并集成了 BlueField-4 STX、Spectrum-X Ethernet、DOCA Memos、Dynamo 和 NIXL。
  • 英伟达报告称,在 SemiAnalysis AgentX 上,每位用户每秒 160 个 token 且每 GPU 配备相同 288 GB 内存的情况下,Vera Rubin NVL72 的每兆瓦吞吐量最高可达 GB300 NVL72 的 30 倍。

常见问题

英伟达的五种协同设计内存技术是什么?

博客介绍了 NVFP4 精度、TensorRT-LLM 中的 Wide-EP、用于 KV 缓存路由和复用的英伟达 Dynamo、用于暂存非活跃上下文的英伟达 Vera CPU,以及用于在整个 Pod 内共享上下文存储的英伟达 CMX。

英伟达 CMX 为 AI 工厂增加了什么?

CMX 增加了一个共享的、通过以太网连接并针对 KV 缓存优化的 G3.5 闪存层。它整合了 BlueField-4 STX、Spectrum-X Ethernet、DOCA Memos、Dynamo 和 NIXL,以支持 Pod 内节点间的上下文放置与复用。

英伟达报告的 Vera Rubin NVL72 吞吐量是多少?

在 SemiAnalysis AgentX 上,该基准会重放具有真实工具调用间隙和不断增长上下文的编码智能体会话。英伟达表示,在每位用户每秒 160 个 token 且每 GPU 配备相同 288 GB 内存的情况下,Vera Rubin NVL72 的每兆瓦吞吐量最高可达 GB300 NVL72 的 30 倍。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论