英伟达推出了 NVIDIA Cosmos Data Factory (CDF),其中包含五个云原生蓝图和六项可组合技能,旨在加速物理 AI 模型训练所需的数据整理、处理和合成数据生成。该平台支持开发者借助前沿 AI agent 大规模构建高质量、多样化的训练数据集;这些 agent 仅需两个提示词即可编排工作流,无需人工引导或使用互不连通的工具。
NVIDIA Cosmos 是一个开放平台,提供用于世界模型开发的前沿模型、数据集、框架和技能。Data Factory 组件旨在解决 AI 开发中的一项关键挑战:捕捉罕见缺陷、夜间事件及其他难以收集且耗时费力的场景。该平台通过集成式工作流将原始数据转化为可用于训练的数据集,从而降低复杂度并缩短开发时间。
NVIDIA Cosmos Data Factory 包含五个参考蓝图,针对常见的数据准备任务设计。每个蓝图都由 CDF Orchestration 核心技能编排,该技能负责协调工作流步骤、部署所需服务,并管理用户集群上的执行。五个蓝图分别面向不同的应用场景:生成用于自动驾驶车辆训练的驾驶场景、增强用于搜索和重新识别任务的图像属性、增强不同天气、光照和环境条件下的视频、生成用于模型训练的罕见事件视频,以及生成用于视觉检测应用的缺陷图像。
Autonomous Vehicle Dataset Generation 蓝图可帮助用户搜索大型驾驶场景数据库,并生成用于下游模型训练和验证的新数据集。NVIDIA Cosmos Curator 从视频数据集输入中提取元数据,NVIDIA Cosmos Dataset Search 则通过嵌入向量查找相关视频。检索到的视频会传入 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移,Cosmos Evaluator 则会检查生成视频的物理合理性。
Image Attribute Augmentation 蓝图可生成具有受控属性变化的人物裁剪图,例如改变服装类型、配饰和颜色。大型语言模型会将选定属性转换为结构化修改提示词,用于生成源图像的增强变体。Cosmos Evaluator 会确认请求的服装属性是否出现在图像中,蓝图还会自动为结果添加服装属性和搜索查询标签,以用于人物搜索和重新识别应用。
Video Data Augmentation 蓝图可在保留场景结构的同时,根据不同天气、光照和环境条件转换现有视频素材。视觉语言模型会描述源视频,并将该描述与请求的条件组合成结构化提示词,再由 Cosmos3-Nano 据此生成增强版本。Cosmos Evaluator 会检查每个生成片段是否存在运动伪影、确认请求的条件是否出现,并评估运动在物理上是否合理。蓝图会自动为源视频和生成视频添加检测、跟踪及字幕标签,生成可用于训练的数据集。
Event Video Generation 蓝图使用源图像生成罕见事件视频,例如火灾、跌倒或商店行窃。视觉语言模型会将对场景的描述与请求的事件组合成结构化提示词。Cosmos3-Super-Image2Video 会在保留源视角和布局的同时生成视频片段。Cosmos Evaluator 会检查事件是否出现、运动是否符合物理规律,并在片段未通过检查时重新生成。通过检查的片段会自动添加检测、跟踪、字幕和语义注释标签。
Defect Image Generation 蓝图可根据干净的检测图像或零件的 3D USD 资产生成缺陷样本,零件包括电路板、玻璃板或金属表面。对于 3D 资产,NVIDIA Isaac Sim 会渲染检测图像和掩码,Qwen-Image-Edit 则会生成逼真的干净参考图像,称为黄金图像。Cosmos 3 Super 会利用这些图像、缺陷掩码和指定的缺陷类型生成缺陷,同时保留零件周围区域。该蓝图针对印刷电路板、玻璃和金属进行了微调,此外还提供适用于其他应用场景的微调技能。
这些蓝图由六项核心 agent 技能构建,可独立使用,也可组合起来构建自定义工作流:Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration。Auto Labeling 技能可将原始视频和图像转化为带有检测、跟踪、字幕和场景理解标注的数据集。AnomalyGen 可根据少量样本创建逼真的缺陷图像,并为视觉检测提供掩码。Augmentation 技能使用 Cosmos 模型生成视频和图像的视觉变体,模拟现实中无法捕捉的条件。Curation and Retrieval 使用 Cosmos Curator 和 Cosmos Dataset Search,在大型数据集中查找视频片段和图像。Simulation 使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且带有完整标注的图像。Orchestration 会在用户集群上运行参考蓝图,部署所需服务并按需扩展。
Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达。可复用的 Python 处理组件以及基于 Slurm 的 Managed Ray 编排功能,可帮助团队连接传感器观测数据、测试数据整理策略并利用闲置 GPU 容量。未来计划扩展支持更多激光雷达设备、雷达和其他传感器类型。Cosmos Dataset Search 现已依据 Apache 2.0 许可证开源,并在早期访问阶段通过多嵌入检索和自适应 agentic 重排,综合利用元数据、场景语义、空间关系和时间行为。其模块化 API 和 agent 技能可检索相关视频片段,用于训练数据集或增强蓝图。
英伟达在一台配备八块 NVIDIA RTX PRO 6000 Blackwell Series GPU 的云服务器上测量性能,服务器费用约为每小时 40 美元,或每天 960 美元。Autonomous Vehicle 数据集生成每天可生成约 130 个边缘案例片段,每个片段的 GPU 计算成本为 2.66 美元;与每个道路采集场景需花费 125 美元的车队采集相比,成本约低 45 倍。Image Attribute Augmentation 每天可增强约 42,649 对带标注的图像,成本为每天 960 美元,即每对约 0.023 美元;与第三方购买数据平均每对 0.25 美元相比,成本约低 10 倍。
Video Data Augmentation 每天可增强约 305 个带标注的视频片段,每个约 5 分钟的片段成本为 3.15 美元;与第三方数据平均每段 22 美元相比,成本约低 7 倍。Defect Image Generation 将数据集整理时间从两个月缩短至一天,速度提升 60 倍。Event Video Generation 每天可生成约 384 个带标注的视频片段,每段成本为 2.50 美元,耗时约 4 分钟;无需等待或重现危险的真实事件,即可生成火灾、打斗和跌倒等稀缺训练样本。
多个组织正在使用 Cosmos 技能和蓝图,提升自动驾驶、视觉检测和机器人领域的测试、检测及搜索准确率,同时降低成本和工作量。一处海上油气设施利用合成数据,将真实异常的召回率提高了最高 24%,预计数据生成成本可带来 1,400 倍回报。一项自动化光学检测计划将人工工程工作量最多减少了 85%,误报减少了 40%。一项自动驾驶计划将重复实车测试减少了最高 90%,并将 AI 回归测试周期缩短了最高 85%。与估计需要六个月在内部构建同等数据管线相比,一家组织借助 Cosmos Curator,不到两周便实现了产品上市。
六项核心 agent 技能分别是:Auto Labeling,可将原始视频和图像转化为带有检测、跟踪、字幕和场景理解标注的数据集;AnomalyGen,可根据少量样本创建逼真的缺陷图像,并为视觉检测提供掩码;Augmentation,可使用 Cosmos 模型生成视频和图像的视觉变体,模拟无法捕捉到的条件;Curation and Retrieval,可使用 Cosmos Curator 和 Cosmos Dataset Search 在大型数据集中查找视频片段和图像;Simulation,可使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且带有完整标注的图像;Orchestration,可在用户集群上运行参考蓝图,部署所需服务并进行扩展。
自动驾驶车辆数据集生成每天可生成约 130 个边缘案例片段,每个片段的 GPU 计算成本为 2.66 美元;与每个场景需花费 125 美元的车队采集相比,成本约低 45 倍。图像属性增强每天可生成约 42,649 对带标注的图像,每对成本为 0.023 美元;与每对 0.25 美元的第三方购买数据相比,成本约低 10 倍。视频数据增强每天可生成约 305 个带标注的视频片段,每个 5 分钟片段成本为 3.15 美元;与每段 22 美元的第三方数据相比,成本约低 7 倍。缺陷图像生成将数据集整理时间从两个月缩短至一天,速度提升 60 倍。事件视频生成每天可生成约 384 个带标注的视频片段,每段成本为 2.50 美元。这些数据仅包含 GPU 计算成本;源数据准备、设置、agent 使用、存储和人工审核可能会产生额外费用。
Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达。未来计划扩展支持更多激光雷达设备、雷达和其他传感器类型。
相关快讯