英伟达通过 NVIDIA Cosmos 展示了一套全面方案,旨在借助 NVIDIA Cosmos 构建可用于训练的物理 AI 数据集。NVIDIA Cosmos 是一个开放平台,提供用于世界模型开发的前沿模型、数据集、框架和技能。作为这一生态系统的一部分,NVIDIA Cosmos Data Factory (CDF) 包含五个云原生蓝图和六项可组合技能,旨在加速数据整理、处理和合成数据生成 (SDG);前沿 AI Agent 负责协调这些蓝图,从而实现无需人工引导的提示词到数据工作流。
Data Factory 通过六项核心 Agent 技能运行,这些技能既可独立使用,也可组合起来构建自定义工作流。Auto Labeling 技能可将原始视频和图像转换为带有检测、跟踪、描述文本和场景理解标注的数据集。AnomalyGen 可根据少量示例生成逼真的缺陷图像,并附带用于视觉检测的掩码。Augmentation 使用 Cosmos 模型生成视频和图像的视觉变体,以应对无法自然采集的情况。Curation and Retrieval 使用 Cosmos Curator 和 Cosmos Dataset Search,在大型数据集合中查找视频片段和图像。Simulation 使用 Isaac Sim 和 Omniverse Replicator,从 3D 场景渲染逼真的完整标注图像。Orchestration 在集群上运行参考蓝图,部署所需服务并按需扩展。
Cosmos Curator 现已支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达;后续计划扩展至更多激光雷达设备、雷达和其他传感器类型。Cosmos Dataset Search 现已基于 Apache 2.0 许可证开源,并在早期体验阶段通过多嵌入检索和自适应 Agent 式重排序,综合利用元数据、场景语义、空间关系和时间行为。其模块化 API 和 Agent 技能可检索相关视频片段,用于训练数据集或增强蓝图。
Autonomous Vehicle Dataset Generation 蓝图有助于搜索大型驾驶场景数据库,并生成用于下游模型训练和验证的新数据集。NVIDIA Cosmos Curator 从视频数据集输入中提取元数据,NVIDIA Cosmos Dataset Search 通过嵌入查找相关视频,检索到的视频会传入 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移,Cosmos Evaluator 则检查生成视频的物理合理性。
Image Attribute Augmentation 参考蓝图可生成带有受控属性变化的人物裁剪图,例如服装类型、配饰和颜色。LLM 将选定属性转化为结构化修改提示词,用于生成源图像的增强变体;Cosmos Evaluator 会确认其中是否包含所要求的服装属性,然后自动为结果标注服装属性和搜索查询,以便进行人物搜索和重新识别。
Video Data Augmentation 参考蓝图可在保留场景结构的同时,转换现有视频素材中的天气、光照和环境条件。视觉语言模型会描述源视频,并将描述与所需条件结合成结构化提示词,再由 Cosmos3-Nano 生成增强变体。Cosmos Evaluator 会检查每个生成片段是否存在源视频中没有的运动伪影,确认是否出现所需条件,并评估运动在物理上是否合理,然后自动为源视频和生成视频添加检测、跟踪和描述文本标注。
Event Video Generation 参考蓝图使用源图像生成火灾、跌倒或商店行窃等罕见事件的视频。VLM 将其对场景的描述与所需事件结合成结构化提示词,Cosmos3-Super-Image2Video 则在保留源视角和布局的同时生成视频片段。Cosmos Evaluator 会检查事件是否出现以及运动看起来是否符合物理规律,并在片段未通过检查时重新尝试;通过检查的片段会自动添加检测、跟踪、描述文本和语义标注。
Defect Image Generation 参考蓝图可根据干净的检测图像或零件的 3D USD 资产生成缺陷样本,零件类型包括电路板、玻璃面板或金属表面。对于 3D 资产,NVIDIA Isaac Sim 会渲染检测图像和掩码,Qwen-Image-Edit 则生成逼真的干净参考图像,即金标准图像。Cosmos 3 Super 使用这些图像、缺陷掩码和指定缺陷类型来生成缺陷,同时保留零件周围区域;该工具已提供针对印刷电路板 (PCBs)、玻璃和金属的微调版本,并为其他用例提供额外的微调技能。
NVIDIA 在云服务器上测量了每日吞吐量,该服务器配备八块 NVIDIA RTX PRO 6000 Blackwell Series GPU,费用约为每台服务器每小时 40 美元,或每天 960 美元。Autonomous vehicle dataset generation 每天可生成约 130 个边缘案例片段,每个片段的 GPU 计算成本为 2.66 美元。相比之下,车队人员实地采集每个道路场景需花费 125 美元,前者便宜约 45 倍。Image attribute augmentation 每天可增强约 42,649 对带标注图像,成本为每天 960 美元,即每对约 0.023 美元,比第三方购买数据平均每对 0.25 美元便宜约 10 倍。Video data augmentation 每天可增强约 305 个带标注片段,每个约 5 分钟的片段成本为 3.15 美元,比第三方数据平均每个片段 22 美元便宜约 7 倍。Defect image generation 将数据集组装时间从两个月缩短至一天,提速 60 倍。Event video generation 每天可生成约 384 个带标注片段,每个成本 2.50 美元,单个片段约 4 分钟;无需等待或重现危险的真实事件,即可创建火灾、打斗和跌倒等稀缺训练样本。
多个组织正在使用 Cosmos 技能和蓝图,提升自动驾驶汽车、视觉检测和机器人领域的测试、检测和搜索准确性。一处海上油气站点通过合成数据将真实世界异常的召回率提升了最多 24%,数据生成成本的估算投资回报率达到 1,400 倍。一项自动光学检测计划的目标是减少最多 85% 的人工工程工作量,并将误报减少 40%。一项自动驾驶汽车计划预计可将重复实车测试次数减少最多 90%,并将 AI 回归测试周期缩短最多 85%。与估计需要六个月才能在内部构建同等流程相比,一家组织使用 Cosmos Curator 不到两周便进入市场。
六项核心 Agent 技能分别是 Auto Labeling,可将原始视频和图像转换为带有检测、跟踪、描述文本和场景理解标注的数据集;AnomalyGen,可根据少量示例生成逼真的缺陷图像,并附带用于视觉检测的掩码;Augmentation,使用 Cosmos 模型生成视频和图像的视觉变体;Curation and Retrieval,使用 Cosmos Curator 和 Cosmos Dataset Search 在大型数据集合中查找视频片段和图像;Simulation,使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真的完整标注图像;以及 Orchestration,可在集群上运行参考蓝图,同时部署所需服务并进行扩展。
Defect image generation 将数据集组装时间从两个月缩短至一天,提速 60 倍。Autonomous vehicle dataset generation 的 GPU 计算成本约为每个片段 2.66 美元,比每个场景需花费 125 美元的实地采集便宜约 45 倍。Image attribute augmentation 的成本约为每对 0.023 美元,比第三方购买数据平均每对 0.25 美元便宜约 10 倍。Video data augmentation 的成本约为每个约 5 分钟的片段 3.15 美元,比第三方数据平均每个片段 22 美元便宜约 7 倍。这些数字仅涵盖 GPU 计算成本;源数据准备、设置、Agent 使用、存储和人工审核可能会产生额外费用。
Cosmos Curator 现已支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达;后续计划扩展至更多激光雷达设备、雷达和其他传感器类型。
相关快讯