据Hugging Face Blog于2026年11月5日发布的介绍,英伟达为Cosmos 3世界模型开发平台新增四款开放权重检查点,面向交互式世界仿真和多传感器、多视角驾驶场景生成。四款模型均为Cosmos 3 Nano的后训练实例,各有160亿可训练参数,采用OpenMDW1.1,按其条款允许商业和非商业使用。

面向自动驾驶,Cosmos3-Nano-Transfer-Auto用于离线合成驾驶数据。它可生成最多11个相机视角的同步视频,包括鱼眼视角,并支持RGB与激光雷达联合生成。开发者可改变天气、光照和时段,扩展训练与评估所覆盖的环境条件。

这款模型通过每个相机对应的World Scenario Map(WSM)控制场景结构和交通运动,由文本提示引导外观;还可选用初始RGB图像来锚定场景外观。联合生成激光雷达数据时,则额外使用对齐的高清地图距离图控制信息。

另一款驾驶模型Cosmos3-Nano-Sim-Auto用于流式生成同步的相机与激光雷达观测。文章将这种同步生成用于连接视觉观测与三维感知,并介绍了场景和交通信号控制:研究人员可以改变道路布局和信号状态,研究驾驶策略如何响应。

另外两款分别连接仿真控制与动作预测:Cosmos3-Nano-Sim-Transfer把物理仿真器的控制信息和文本提示转换为照片级逼真视频;Cosmos3-Nano-Sim-Bimanual则根据机器人或相机动作预测视频,用于呈现动作带来的视觉后果。

这些能力是否足以可靠支撑策略学习和评估,文章仍将其列为后续需要测量的问题,同时提出要理解模型的局限并改进不足。此次提供的是可供研究者和开发者继续适配、比较方法的开放权重与后训练配方,并非已经完成上述验证的结论。

原始来源:New NVIDIA Cosmos 3 Open Models for Interactive World Simulation