6月1日消息,英伟达在 COMPUTEX 2026 / GTC Taipei 正式发布 NVIDIA Cosmos 3,同步开放模型权重下载。这是英伟达首个全模态世界基础模型,支持文本、图像、视频、环境音频和动作信号的输入与输出,65B 和 16B 两个版本在 Hugging Face 上直接公开下载。
Mixture-of-Transformers:先推理,再生成
Cosmos 3 的核心架构创新是 Mixture-of-Transformers,将模型拆分为独立的 Reasoner(推理器)和 Generator(生成器)两个模块。模型首先理解场景中的物体、交互和意图,再基于推理结果生成物理一致的输出。
这一架构使 Cosmos 3 同时具备三大能力:视觉-语言-动作推理(Vision-Language-Action Reasoning)、世界生成(生成符合物理规律的未来视频/状态)和动作生成(直接输出机器人关节角度、轨迹点等数值动作数据)。
英伟达机器人研究副总裁刘明宇(Ming-Yu Liu)在官方博客中表示:"Cosmos 3 驱动感知、预测和行动。"
三项核心能力:推理、生成、动作
视觉 AI 推理:Cosmos 3 可作为视觉语言模型,对复杂真实场景中的物体、交互和意图进行推理,支持质量检测、公共安全、交通监控、物流和自动驾驶等场景的实时告警与密集字幕生成。
策略模型基座:开发者可以在 Cosmos 3 基础上,针对特定摄像头布局、机器人本体和工作场景进行微调,加速机器人策略学习。英伟达 GEAR 团队正基于 Cosmos 3 开发视频动作模型,帮助具身智能体在游戏、仿真和真实机器人环境中学习和行动。Agile Robots(灵活机器人)已使用 Cosmos 3 为其人形机器人 Thor 3 和 FR3 生成动作条件数据。
世界模拟与合成数据:模型可以从文本、图像、视频、环境音频和动作输入中生成无数物理可行的未来帧,用于自动驾驶长尾场景生成和机器人训练数据扩展。
多维度 Benchmark 领先
Cosmos 3 在多个开放模型基准测试中取得领先:
- VANTAGE-Bench(智慧基础设施场景理解):排名第一的开源视觉语言模型
- Physics-IQ、R-Bench、PAI-Bench(世界生成):均排名第一
- RoboLab(仿真环境语言引导策略测试):Cosmos 3 Nano 后训练策略领先
- RoboArena(DROID 机器人真实环境策略对比):领先
- Artificial Analysis 开源权重模型排行:Cosmos 3 变体排名第一
开源与可用性
Cosmos 3 首批放出版本包括:
- Cosmos3-Super(65B):完整能力旗舰版
- 专项变体:Super-Text2Image、Super-Image2Video、Nano-Policy-DROID
所有模型在 Hugging Face 上以开放权重许可(OpenMDW 1.1)公开下载,无需申请,即取即用。英伟达同步在 GitHub 开放了后训练脚本和 Cookbook。
开发者还可通过 build.nvidia.com 在线体验,或通过 NVIDIA NIM 微服务部署。
关键信号
Cosmos 3 是英伟达在物理 AI 方向最重要的模型发布。从 Cosmos-Predict/Reason 系列的世界预测/推理模型,升级到集推理、生成、动作于一体的全模态模型,架构上从 Diffusion/Transformer 混合切换到纯 Mixture-of-Transformers,路线变化明显。
"宣布即开源"的策略与此前不同——不再需要申请审批,直接公开下载,加上开放权重许可,说明英伟达在物理 AI 领域的目标不是卖模型,而是建立开发者生态。Mixture-of-Transformers 的"先推理再生成"路线解决了此前世界模型"能生成但不理解"的痛点,动作生成的原生支持则直接触及机器人行业的核心需求——不是缺视频数据,是缺带动作标签的训练数据。
Cosmos 3 的真正落地路径可能不在通用视频生成,而在两个具体方向:一是机器人策略学习的"仿真到现实"(Sim2Real)数据管线,二是自动驾驶长尾场景的合成数据补充。这两个方向都有明确的商业价值闭环,且数据稀缺性足够强,足以支撑开发者付费使用 NIM 微服务。开源权重是获客手段,微服务部署和行业解决方案才是商业化后端。