英伟达于 2026 年 11 月 02 日发布的技术博客详细介绍了 Cosmos Framework 仿真方案和 Cosmos NIM 部署工作流。这些工具旨在帮助开发者解决将世界模型适配到自身传感器、任务和数据,以及可靠部署模型时遇到的挑战。框架与 NIM 共同覆盖物理 AI 应用的世界模型开发、仿真和 GPU 加速推理。
英伟达将 Cosmos 描述为一个面向物理 AI 的世界基础模型和开发工具平台。Cosmos Framework 是一个开放、完全模块化的框架,用于世界模型训练、优化和推理,配有涵盖多模态数据处理和模型开发生命周期的智能体技能与方案。除 Cosmos 3 外,该框架还在扩展支持英伟达 Alpamayo、GR00T、Qwen、pi0.5 和其他兼容的 Hugging Face 模型。
在训练方面,该框架的技能支持文本、图像、视频、音频和动作。开发者可以使用 LoRA 进行参数高效适配,也可以通过全量监督微调(SFT)更新所有模型参数。数据可通过 JSONL、WebDataset、LeRobot 或自定义适配器加载;训练可跨多张 GPU 运行,并保存检查点以便恢复训练。
该框架还涵盖在线和离线强化学习路径。支持的流程包括:用于离线偏好优化的 DPO;使用规则或模型奖励以及 vLLM rollout 进行在线 RL 的 GRPO;使用冻结的参考模型和评论家模型进行 Actor-Critic RL 的 PPO,其中包括在仿真中对具身策略进行 RL;从冻结教师模型进行在线策略蒸馏的 OPD;以及用于扩散世界模型在线 RL 的 DiffusionNFT。Rollout、奖励和训练角色可以运行在共享 GPU 或独立资源池上,也可以连接受支持的仿真器来收集经验。
在优化和推理方面,开发者可以蒸馏模型以缩小模型体积或减少生成步数,也可以量化模型以降低内存使用量。兼容的检查点可通过 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM、TRT-Edge-LLM 或 NVIDIA NIM 运行。该框架还支持评估质量、准确率和 GPU 使用情况,并优化计算资源利用率。
Cosmos Framework 的推理方案涵盖机器人仿真、逼真场景生成、多摄像头驾驶仿真和手术策略评估。新的 Cosmos 3 Nano 仿真方案和示例检查点让开发者能够运行示例检查点,并将 Cosmos 3 Nano 适配到自定义传感器、动作空间和数据领域。这些检查点支持 PyTorch 和 vLLM-Omni,并已在英伟达 Hopper 和 Blackwell GPU 上完成测试。方案提供 GPU 数量、内存配置和推理设置选项。
在自动驾驶汽车仿真中,两个 AV 检查点都使用提示词和世界场景地图(WSM)控制信息,表示车道、物体、道路标线、交通标志和道路边界。RGB 与 LiDAR 联合生成还使用高清地图范围图控制信息,并支持可选的初始 LiDAR 观测。提示词描述天气、光照、一天中的时段和路况;前缀则提供摄像头阵列和视场范围上下文。可选的初始摄像头图像可为生成场景的视觉外观提供上下文。
Cosmos3-Nano-Transfer-Auto 使用双向生成,一次性对整个多视角片段进行去噪,以离线生成合成数据。它支持 30 fps 输入和输出视频,最多可生成 400 帧的 480p 或 720p 视频;更长的序列可通过自回归分块生成。来源中的参考运行使用四张 GPU,生成七段 720p 视频,每段为 297 帧、30 FPS,并生成 99 次 LiDAR 扫描。已发布的示例配置使用七段同步 WSM 视频、各摄像头的字幕、首帧 RGB 条件和高清地图 LiDAR 控制信息。输出检查包括 sample_outputs.json 中的成功状态、lidar.safetensors 中有限的范围值和强度值,以及各摄像头视角与 LiDAR 之间的 WSM 对齐和一致性。
Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果式少步蒸馏版本,可实现自回归流式生成。它通过 WSM 渲染器,根据 AV 策略或人工驾驶输入对场景的更新,逐步生成观测结果。摄像头和 LiDAR 观测会返回给策略,用于闭环评估。其参考 rollout 使用预渲染的 WSM 控制信息,以自回归方式生成同步摄像头视频和 LiDAR 观测;参考运行将文件写入 outputs/sim_auto/daytime_scene/。
Cosmos3-Nano-Sim-Transfer 将深度视频和提示词转换为 RGB 视频,同时改变光照、纹理和背景,并保留几何结构和运动。在机器人演示中,它会改变第三人称视角,同时保留动作、状态和腕部摄像头录像。Cosmos3-Nano-Sim-Bimanual 根据场景和机器人动作生成下一帧视觉观测。它支持针对 YAM 和 AgiBot 具身平台的交互式双臂仿真,可由策略或人工操作的操纵杆控制。Sim-Transfer 根据物理仿真器更新后的状态生成视觉内容,而 Sim-Bimanual 则直接根据场景和机器人动作生成下一帧观测。
对于手术仿真,英伟达指出,世界基础模型直接从同步的手术视频和机器人运动学中学习视觉动态,而不是显式建模场景几何结构、组织形变和物理交互。Cosmos3-H-Embodied-Nano 基于 Cosmos3 构建,并在 Open-H-Embodiment 上进行后训练,可根据机器人动作生成手术视频、从视频预测动作,或同时生成两者。它接收初始 RGB 帧、任务提示词、最后 16 个已执行动作以及后续机器人动作。开发者可用它生成合成数据并离线评估策略,无需构建手术场景的物理模型。
Cosmos3-H-Dreams 由 Cosmos3-H-Embodied-Nano 蒸馏而来。这个因果式少步模型根据实时机器人运动学生成帧,可用于由人工或学习策略控制的实时闭环仿真。它让开发者能够在实体硬件测试之前探索手术操作并评估策略。
Cosmos NIM 软件包通过优化容器支持模型,实现加速推理。其推理选项包括量化、推测解码、缓存、代币剪枝和 KV 缓存感知路由。英伟达报告称,在 H200 上,推测解码的实测平均加速约为 2–3 倍。NIM 可提供经过微调的 Cosmos 检查点服务,并通过流式 VLM 推理处理实时数据流,将延迟降低 10 倍,实现亚秒级警报,从而更快响应事件。它还提供自动配置选择、针对受支持 GPU 验证过的性能和质量、许可支持,以及每季度发布的功能、优化和安全更新。
GPU 内存需求因任务和模型而异。对于推理,Cosmos3-Edge 在 BF16 下需要 16 GiB,在 FP8 下需要 14.5 GiB;Cosmos3-Nano 在 BF16 和 FP8 下均需要 23.1 GiB;Cosmos3-Super 在 BF16 下需要 135 GiB,在 FP8 下需要 67 GiB。对于生成,Cosmos3-Edge-DROID 在 BF16 下需要 14 GiB。Cosmos3-Nano 在 BF16 下需要 58 GiB,在 FP8 下需要 44 GiB,启用卸载时在 FP8 下需要 31 GiB。Cosmos3-Super 在 BF16 下需要 150 GiB,在 FP8 下需要 93 GiB,启用卸载时在 FP8 下需要 38 GiB。
部署示例使用镜像 nvcr.io/nim/nvidia/cosmos3:2.0.0,在 GPU 0 上启动 Nano Generator,并设置 NIM_MODEL_TYPE=generator、NIM_MODEL_VARIANT=nano 和 NIM_PERF_PROFILE=latency。指南指出,需要在 Linux 上安装所需的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit,并设置 NGC API 密钥。启动后,就绪端点为 http://localhost:8000/v1/health/ready,元数据端点为 http://localhost:8000/v1/metadata。文章称,就绪过程大约需要几分钟。
对于 Generator,延迟模式优先让单个请求尽快完成,支持使用 1、2、4 或 8 张 GPU;受支持的多 GPU 配置会让多张 GPU 协同处理同一个请求。吞吐量模式优先提高单位时间内完成的请求数,需要 2、4 或 8 张兼容 GPU;独立副本会并行处理请求。吞吐量模式需要并发请求才能发挥优势;在单 GPU 示例中,仅将 NIM_PERF_PROFILE 改为 throughput 并不足以启用该模式。文章还指出,开发者可以使用 New Certified Cosmos NIM 在 20 多款英伟达 GPU 上部署 Cosmos 推理和生成模型,以获得最佳性能。
Cosmos Framework 支持世界模型训练、优化和推理。其工具包括多模态数据处理,以及用于训练、强化学习、仿真和推理的方案;它支持 Cosmos 3、英伟达 Alpamayo、GR00T、Qwen、pi0.5 和其他兼容的 Hugging Face 模型。
Cosmos3-Nano-Transfer-Auto 可生成多视角视频,并支持 RGB 与 LiDAR 联合生成。它支持 30 fps 输入和输出视频,最多可生成 400 帧的 480p 或 720p 视频,也可通过自回归分块生成更长序列。参考运行生成七段 720p 视频,每段为 297 帧、30 FPS,并生成 99 次 LiDAR 扫描。
Cosmos3-Nano 生成在 BF16 下需要 58 GiB,在 FP8 下需要 44 GiB,启用卸载时在 FP8 下需要 31 GiB。
相关快讯