英伟达 Cosmos Data Factory 让生成训练数据集只需两条提示词

关键要点

  • 英伟达 Cosmos Data Factory 推出了五种云原生蓝图和六种可组合的智能体 Skills,只需两条提示词即可生成用于物理 AI 模型开发的训练数据集。
  • 自动驾驶车辆数据集生成成本为每个片段 2.66 美元,较每个车队场景 125 美元的成本低 45 倍;缺陷图像生成则将装配时间从两个月缩短至一天。
  • 在自动驾驶车辆和视觉检测应用中,实际部署实现了异常召回率最高提升 24%、人工工程工作量减少 85%,以及重复实车测试次数减少 90%。

英伟达推出了 NVIDIA Cosmos Data Factory (CDF),其中包含五个云原生蓝图和六项可组合技能,旨在加速物理 AI 模型训练所需的数据整理、处理和合成数据生成。该平台支持开发者借助前沿 AI agent 大规模构建高质量、多样化的训练数据集;这些 agent 仅需两个提示词即可编排工作流,无需人工引导或使用互不连通的工具。

NVIDIA Cosmos 是一个开放平台,提供用于世界模型开发的前沿模型、数据集、框架和技能。Data Factory 组件旨在解决 AI 开发中的一项关键挑战:捕捉罕见缺陷、夜间事件及其他难以收集且耗时费力的场景。该平台通过集成式工作流将原始数据转化为可用于训练的数据集,从而降低复杂度并缩短开发时间。

物理 AI 数据准备的五个参考蓝图

NVIDIA Cosmos Data Factory 包含五个参考蓝图,针对常见的数据准备任务设计。每个蓝图都由 CDF Orchestration 核心技能编排,该技能负责协调工作流步骤、部署所需服务,并管理用户集群上的执行。五个蓝图分别面向不同的应用场景:生成用于自动驾驶车辆训练的驾驶场景、增强用于搜索和重新识别任务的图像属性、增强不同天气、光照和环境条件下的视频、生成用于模型训练的罕见事件视频,以及生成用于视觉检测应用的缺陷图像。

Autonomous Vehicle Dataset Generation 蓝图可帮助用户搜索大型驾驶场景数据库,并生成用于下游模型训练和验证的新数据集。NVIDIA Cosmos Curator 从视频数据集输入中提取元数据,NVIDIA Cosmos Dataset Search 则通过嵌入向量查找相关视频。检索到的视频会传入 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移,Cosmos Evaluator 则会检查生成视频的物理合理性。

Image Attribute Augmentation 蓝图可生成具有受控属性变化的人物裁剪图,例如改变服装类型、配饰和颜色。大型语言模型会将选定属性转换为结构化修改提示词,用于生成源图像的增强变体。Cosmos Evaluator 会确认请求的服装属性是否出现在图像中,蓝图还会自动为结果添加服装属性和搜索查询标签,以用于人物搜索和重新识别应用。

Video Data Augmentation 蓝图可在保留场景结构的同时,根据不同天气、光照和环境条件转换现有视频素材。视觉语言模型会描述源视频,并将该描述与请求的条件组合成结构化提示词,再由 Cosmos3-Nano 据此生成增强版本。Cosmos Evaluator 会检查每个生成片段是否存在运动伪影、确认请求的条件是否出现,并评估运动在物理上是否合理。蓝图会自动为源视频和生成视频添加检测、跟踪及字幕标签,生成可用于训练的数据集。

Event Video Generation 蓝图使用源图像生成罕见事件视频,例如火灾、跌倒或商店行窃。视觉语言模型会将对场景的描述与请求的事件组合成结构化提示词。Cosmos3-Super-Image2Video 会在保留源视角和布局的同时生成视频片段。Cosmos Evaluator 会检查事件是否出现、运动是否符合物理规律,并在片段未通过检查时重新生成。通过检查的片段会自动添加检测、跟踪、字幕和语义注释标签。

Defect Image Generation 蓝图可根据干净的检测图像或零件的 3D USD 资产生成缺陷样本,零件包括电路板、玻璃板或金属表面。对于 3D 资产,NVIDIA Isaac Sim 会渲染检测图像和掩码,Qwen-Image-Edit 则会生成逼真的干净参考图像,称为黄金图像。Cosmos 3 Super 会利用这些图像、缺陷掩码和指定的缺陷类型生成缺陷,同时保留零件周围区域。该蓝图针对印刷电路板、玻璃和金属进行了微调,此外还提供适用于其他应用场景的微调技能。

六项可组合核心 Agent 技能

这些蓝图由六项核心 agent 技能构建,可独立使用,也可组合起来构建自定义工作流:Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration。Auto Labeling 技能可将原始视频和图像转化为带有检测、跟踪、字幕和场景理解标注的数据集。AnomalyGen 可根据少量样本创建逼真的缺陷图像,并为视觉检测提供掩码。Augmentation 技能使用 Cosmos 模型生成视频和图像的视觉变体,模拟现实中无法捕捉的条件。Curation and Retrieval 使用 Cosmos Curator 和 Cosmos Dataset Search,在大型数据集中查找视频片段和图像。Simulation 使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且带有完整标注的图像。Orchestration 会在用户集群上运行参考蓝图,部署所需服务并按需扩展。

Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达。可复用的 Python 处理组件以及基于 Slurm 的 Managed Ray 编排功能,可帮助团队连接传感器观测数据、测试数据整理策略并利用闲置 GPU 容量。未来计划扩展支持更多激光雷达设备、雷达和其他传感器类型。Cosmos Dataset Search 现已依据 Apache 2.0 许可证开源,并在早期访问阶段通过多嵌入检索和自适应 agentic 重排,综合利用元数据、场景语义、空间关系和时间行为。其模块化 API 和 agent 技能可检索相关视频片段,用于训练数据集或增强蓝图。

性能基准与成本降低

英伟达在一台配备八块 NVIDIA RTX PRO 6000 Blackwell Series GPU 的云服务器上测量性能,服务器费用约为每小时 40 美元,或每天 960 美元。Autonomous Vehicle 数据集生成每天可生成约 130 个边缘案例片段,每个片段的 GPU 计算成本为 2.66 美元;与每个道路采集场景需花费 125 美元的车队采集相比,成本约低 45 倍。Image Attribute Augmentation 每天可增强约 42,649 对带标注的图像,成本为每天 960 美元,即每对约 0.023 美元;与第三方购买数据平均每对 0.25 美元相比,成本约低 10 倍。

Video Data Augmentation 每天可增强约 305 个带标注的视频片段,每个约 5 分钟的片段成本为 3.15 美元;与第三方数据平均每段 22 美元相比,成本约低 7 倍。Defect Image Generation 将数据集整理时间从两个月缩短至一天,速度提升 60 倍。Event Video Generation 每天可生成约 384 个带标注的视频片段,每段成本为 2.50 美元,耗时约 4 分钟;无需等待或重现危险的真实事件,即可生成火灾、打斗和跌倒等稀缺训练样本。

实际应用成果

多个组织正在使用 Cosmos 技能和蓝图,提升自动驾驶、视觉检测和机器人领域的测试、检测及搜索准确率,同时降低成本和工作量。一处海上油气设施利用合成数据,将真实异常的召回率提高了最高 24%,预计数据生成成本可带来 1,400 倍回报。一项自动化光学检测计划将人工工程工作量最多减少了 85%,误报减少了 40%。一项自动驾驶计划将重复实车测试减少了最高 90%,并将 AI 回归测试周期缩短了最高 85%。与估计需要六个月在内部构建同等数据管线相比,一家组织借助 Cosmos Curator,不到两周便实现了产品上市。

关键事实

  • NVIDIA Cosmos Data Factory 包含五个云原生参考蓝图和六项可组合 agent 技能,用于数据整理、处理和合成数据生成
  • 五个蓝图分别面向自动驾驶车辆数据集生成、图像属性增强、视频数据增强、罕见事件视频生成和缺陷图像生成
  • 六项核心 agent 技能为 Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration
  • Cosmos Curator 现在支持多摄像头视频、IMU、GPS 输入,并初步支持激光雷达
  • Cosmos Dataset Search 依据 Apache 2.0 开源许可证运行,提供模块化 API,并在早期访问阶段支持自适应 agentic 重排
  • 自动驾驶车辆数据集生成每天可生成约 130 个边缘案例片段,每个片段成本为 2.66 美元;与每个场景需花费 125 美元的实地车队采集相比,成本约低 45 倍
  • 图像属性增强每天可生成约 42,649 对带标注的图像,每对成本为 0.023 美元;与每对 0.25 美元的第三方数据相比,成本约低 10 倍
  • 视频数据增强每天可生成约 305 个带标注的视频片段,每个 5 分钟片段成本为 3.15 美元;与每段 22 美元的第三方数据相比,成本约低 7 倍
  • 缺陷图像生成将数据集整理时间从两个月缩短至一天
  • 事件视频生成每天可生成约 384 个带标注的视频片段,每段成本为 2.50 美元,耗时约 4 分钟
  • 测试硬件:八块 NVIDIA RTX PRO 6000 Blackwell Series GPU,服务器费用为每小时 40 美元或每天 960 美元
  • 实际应用成果包括:海上油气设施的异常召回率最高提升 24%,预计数据生成成本可带来 1,400 倍回报
  • 自动化光学检测计划报告称,人工工程工作量最多减少 85%,误报减少 40%
  • 自动驾驶计划将重复实车测试减少了最高 90%,并将 AI 回归测试周期缩短了最高 85%
  • 上市时间对比:使用 Cosmos Curator 不到两周,而在内部开发数据管线预计需要六个月
  • NVIDIA 将于 11 月 19 日举办题为“两个提示词构建可用于训练的数据集”的直播,Voxel51 和 Encord 将参与,内容包括 Porsche 和 ANYbotics 的案例研究

常见问题

NVIDIA Cosmos Data Factory 的六项可组合技能是什么?

六项核心 agent 技能分别是:Auto Labeling,可将原始视频和图像转化为带有检测、跟踪、字幕和场景理解标注的数据集;AnomalyGen,可根据少量样本创建逼真的缺陷图像,并为视觉检测提供掩码;Augmentation,可使用 Cosmos 模型生成视频和图像的视觉变体,模拟无法捕捉到的条件;Curation and Retrieval,可使用 Cosmos Curator 和 Cosmos Dataset Search 在大型数据集中查找视频片段和图像;Simulation,可使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且带有完整标注的图像;Orchestration,可在用户集群上运行参考蓝图,部署所需服务并进行扩展。

与传统数据采集方法相比,Cosmos Data Factory 的速度和成本优势有多大?

自动驾驶车辆数据集生成每天可生成约 130 个边缘案例片段,每个片段的 GPU 计算成本为 2.66 美元;与每个场景需花费 125 美元的车队采集相比,成本约低 45 倍。图像属性增强每天可生成约 42,649 对带标注的图像,每对成本为 0.023 美元;与每对 0.25 美元的第三方购买数据相比,成本约低 10 倍。视频数据增强每天可生成约 305 个带标注的视频片段,每个 5 分钟片段成本为 3.15 美元;与每段 22 美元的第三方数据相比,成本约低 7 倍。缺陷图像生成将数据集整理时间从两个月缩短至一天,速度提升 60 倍。事件视频生成每天可生成约 384 个带标注的视频片段,每段成本为 2.50 美元。这些数据仅包含 GPU 计算成本;源数据准备、设置、agent 使用、存储和人工审核可能会产生额外费用。

Cosmos Curator 目前支持哪些类型的传感器?

Cosmos Curator 现在支持多摄像头视频、IMU 和 GPS 输入,并在其传感器库中初步支持激光雷达。未来计划扩展支持更多激光雷达设备、雷达和其他传感器类型。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论