NVIDIA CCluster 文档介绍了对 NVIDIA Dynamo 推理部署的 Beta 支持,该部署由一个仅使用 CPU 的 Frontend 和由 GPU 驱动的 vLLM Worker 组成。HTTP 部署提供兼容 OpenAI 的 API,而 gRPC 部署提供 KServe v2 推理协议。该平台负责管理 Dynamo 运行时、部署生命周期、TLS 入口、修订版本、扩缩容配置、状态和日志;只有启用了 Dynamo operator 的集群才支持 Dynamo。
该集成支持两种服务拓扑。在聚合式拓扑中,控制台将其标记为 Combined workers,每个 Worker 都会执行提示词处理和 token 生成;聚合式 Worker 可以使用固定副本数、在配置范围内自动扩缩容,或在闲置时缩容至零。在解耦式拓扑中,控制台将其标记为Split prefill & decode,这是一项 Preview 功能,由独立的 Prefill 池和 Decode 池分别执行提示词处理和 token 生成。Frontend 在两个池之间路由任务,Prefill 将 KV 状态传输给 Decode;目前两个池都使用固定副本数。
两种拓扑都使用一个仅使用 CPU 的 Frontend,并且每个 GPU Worker 副本都会占用所选硬件类型的一个完整实例。NVIDIA CCluster 提供 Dynamo 运行时镜像,因此用户只需选择模型、硬件类型以及可选的运行时版本,无需提供容器镜像。编辑部署时无法更改服务拓扑和集群;若要使用不同的拓扑,必须克隆部署。
Endpoint 步骤要求设置 Endpoint Name,名称只能包含小写字母、数字和连字符,必须以小写字母开头、以字母或数字结尾,且长度不得超过 20 个字符。此步骤还要求填写 Hugging Face 模型标识符,例如 Qwen/Qwen3-0.6B,并可选填 Served Model Name,客户端可在 OpenAI model 字段中发送该名称。受限和私有模型需要 Hugging Face token;端点认证使用 Bearer token 或客户端证书,因为平台不支持公开的未认证端点。不要将端点凭证放入环境变量。
Advanced步骤提供 Dynamo Runtime Version 设置,其中列出经过验证的版本,也接受其他已发布的版本标签。留空时将使用平台默认值,该默认值会考虑目标集群和 KV 传输策略。更改现有部署的版本会重启所有组件;如果部署未运行最新的已验证版本,Detail选项卡会显示Update Available。日志默认启用;启用 Model Caching 后,模型文件会存储在节点本地的持久化缓存中;可选的 Priority 类会为部署的 pod 设置 Kubernetes PriorityClass。
Frontend 默认使用支持 KV 感知的路由(DYN_ROUTER_MODE=kv)。用户可以在 Environment Variables 中设置 DYN_ROUTER_MODE,以选择其他 Dynamo 路由模式,例如轮询。NVIDIA CCluster 管理的变量(包括 DYN_HTTP_PORT 和 DYN_REQUEST_PLANE)会被拒绝。Extra Arguments 会应用于每个 Worker 池;在 Beta 阶段,只有 NVIDIA CCluster 支持人员指示时才应使用此选项,因为不受支持的值可能会导致 Worker 无法启动。
聚合式部署需要设置 Min Replicas、Max Replicas、Concurrency 和 Cooldown Period。Min Replicas 可设为 0,以允许缩容至零;Max Replicas 必须至少为 1。当 Max Replicas 同时大于 1 和 Min Replicas 时,必须设置 Concurrency。Concurrency 用于设定每个 Worker 的目标活跃请求数。Cooldown Period 用于设定缩容稳定时间,单位为秒,范围为 0 至 3600,默认值为 1800。Configured worker capacity 摘要会显示所选配置对应的 Worker 和加速器数量范围;集群必须有足够的容量来运行 Max Replicas 个 Worker。
当 Min Replicas 设为 0 时,端点闲置时间略长于 Cooldown Period 后,NVIDIA CCluster 会停止所有 Worker,部署状态会变为 Scaled to zero。Frontend 会继续运行。向已缩容至零的部署发送请求会唤醒它,但请求不会被暂存;在 Worker 加载模型之前,请求都会失败。在此期间,HTTP 请求会收到 404 响应,因此客户端应采用退避策略重试。所有通过端点认证的请求都会计为活动,因此使用有效凭证的健康检查可能会唤醒 Worker,或使其保持运行。
在解耦式服务中,Prefill 处理提示词并准备 KV 缓存状态供 Decode 使用;Decode 收到该状态后生成输出 token。每个池都需要指定硬件类型和至少为 1 的副本数。默认情况下,Prefill 和 Decode 使用相同的硬件配置;清除 Use the same hardware profile for Prefill and Decode 后,即可为 Decode 选择不同的硬件类型。部署的 GPU 占用量是两个池的总和;Prefill 和 Decode 池不会自动扩缩容,也不会缩容至零。
NVIDIA CCluster 会在 Prefill 和 Decode Worker 上配置 NixlConnector。KV 传输策略决定 NIXL 后端。控制台默认的 allow_tcp 策略允许 NIXL 使用 UCX;UCX 会根据两个 pod 都可见的资源选择通道和传输方式,并允许使用 TCP。require_gpu_direct_rdma 策略在控制台中显示为 Require GPU Direct RDMA(Beta),该策略会使 NIXL 通过 AWS EFA 使用 libfabric,直接传输 GPU 缓冲区,并禁用 TCP 回退。此策略仅适用于启用了 EFA 的 AWS EKS 集群,且这些集群需通过 Kubernetes 动态资源分配(DRA)提供 EFA 设备。在一次实时验证中,一个 Prefill pod 和一个 Decode pod 位于同一个 8×B200 节点上;UCX 报告了 rma_am(tcp/eth0) 和其他 TCP 通道,未选择 RDMA 或 CUDA-IPC 通道。该验证检查的是传输正确性,而非性能基准。
可以通过向 /deployments/dynamo 发送 POST 请求来创建解耦式部署,将 serving_mode 设为 disaggregated,并提供 Prefill 和 Decode 的 worker_pools。每个池都必须指定 hardware_instance_id,且 min_replicas 和 max_replicas 必须设为相同的值,且至少为 1。较早版本中每个池使用的 replicas 字段已弃用,但仍可接受。communications.kv_transfer.policy 字段用于选择 allow_tcp 或 require_gpu_direct_rdma;省略 communications 时会应用 NVIDIA CCluster 的默认 NIXL 配置,该配置允许 TCP。请求中的 endpoint_bearer_token 用于保护已部署的推理端点,与用于 NVIDIA CCluster API 的凭证相互独立。
请求不得在池中设置 concurrency 或 cooldown_period,也不得包含聚合式部署的顶层字段 hardware_instance_id、min_replicas、max_replicas、concurrency 或 cooldown_period。GET /deployments/dynamo/{deployment_id} 返回的 worker_pools 值是硬件和副本配置的权威来源。
部署列表和修订版本表会按组件报告 Dynamo pod,包括 Frontend、聚合式部署中的 Worker,以及解耦式部署中的 Prefill 和 Decode。聚合式部署的状态示例为 Frontend(已观测到 1 / 1 个 pod 就绪)和 Worker(已观测到 2 / 2 个 pod 就绪)。如果 Frontend 不健康,整个部署可能仍未就绪,因为没有 Frontend 就无法接收流量。Detail选项卡会显示端点、模型、运行时版本、硬件、扩缩容配置、修订历史和Serving Topology面板。Logs选项卡会显示所选组件 pod 和修订版本的日志;只有启用了日志记录的修订版本才有日志。Usage 选项卡会显示 Frontend 的首个 token 生成时间、每个输出 token 的耗时、请求时长、输出吞吐量、请求结果、队列深度、Worker GPU 利用率和内存使用量、KV 缓存占用率;对于解耦式部署,还会显示 KV 传输吞吐量、时长、完成率和失败率。
在聚合式部署中,更改 Min Replicas 或 Max Replicas 会就地扩缩运行中的部署,不会创建新修订版本。编辑规格、变更硬件,或调整解耦式 Prefill 或 Decode 池的大小,都会创建新修订版本;operator 会执行滚动更新。对于 Active 聚合式部署的 Worker 滚动更新,可以设置 Max Unavailable 和 Max Surge。用户可以查看历史修订版本的状态和日志、克隆部署,或回滚到较早的修订版本。支持暂停或恢复整个部署,但不支持仅暂停正在进行的 Dynamo 滚动更新。
Beta 集成支持使用固定大小 Worker 的聚合式服务、在配置的最小和最大副本数之间自动扩缩 Worker,以及缩容至零。它还以 Preview 形式支持解耦式服务,使用独立的固定大小 Prefill 和 Decode 池;支持提供兼容 OpenAI 的 HTTP 端点和 KServe gRPC 端点、使用 Bearer token 或 mTLS 保护端点,以及选择 Dynamo 运行时版本。当前集成仅有一个 Frontend,不提供 Frontend 高可用性、Prefill 或 Decode 独立自动扩缩、解耦式池缩容至零、保证在同一节点上放置、NVLink 或 CUDA IPC KV 路径、EFA 启用的 AWS EKS 集群以外的加速 KV 路径、自定义 Dynamo 运行时镜像或配置文件挂载。
NVIDIA CCluster 支持聚合式服务,控制台将其标记为 Combined workers;其中每个 Worker 都会执行提示词处理和 token 生成。它还支持解耦式服务,控制台将其标记为 Split prefill & decode,目前这是一项 Preview 功能;其中独立的 Prefill 和 Decode 池分别执行这些任务,并使用固定副本数。两种拓扑都使用一个仅使用 CPU 的 Frontend。
当 Min Replicas 设为 0 且端点处于闲置状态时,NVIDIA CCluster 会停止所有 Worker,部署状态会变为 Scaled to zero,而 Frontend 会继续运行。请求会唤醒部署,但在 Worker 就绪前不会被暂存,因此在 Worker 加载模型之前,请求都会失败;在此期间,HTTP 请求会收到 404 响应。客户端应采用退避策略重试。唤醒所需时间与正常启动 Worker 所需时间大致相同;如果大型模型尚未缓存,可能需要数分钟。
require_gpu_direct_rdma 策略在控制台中显示为 Require GPU Direct RDMA (Beta),需要 EFA 设备。此策略仅适用于启用了 EFA 的 AWS EKS 集群,且这些集群需通过 Kubernetes 动态资源分配向 pod 提供 EFA 设备。在此策略下,NIXL 通过 AWS EFA 使用 libfabric,TCP 回退会被禁用,并且每个 Prefill 和 Decode Worker 都会请求一个 EFA 设备。控制台默认的 allow_tcp 策略允许 TCP,且不会请求 RDMA 或 EFA 设备。
相关快讯
英伟达 NeMo Fabric Hermes SDK 通过嵌入式 AI Agent 处理请求
Nscale因AI基础设施担忧将首次公开募股推迟至2027年
英伟达报告称,DeepSeek-V3 671B 在 256 块 GB300 GPU 上训练速度提升 1.68 倍
Commvault 携手英伟达,为 AI Agent 准备企业数据
英伟达 API 目录列出 Moonshot AI 的 Kimi K3.1 Pro 多模态模型