4月28日消息,NVIDIA 发布并开源 Nemotron 3 Nano Omni,这是 Nemotron 3 家族首款多模态模型,30B 总参数 / 3B 激活的混合 MoE 架构,原生支持文本、图像、视频、音频四模态输入,最长 256K 上下文。NVIDIA 给出的核心数据是同等交互性下吞吐量达到其他开源 omni 模型的 9 倍,在复杂文档智能、视频与音频理解共 6 个榜单上拿下榜首。
模型已在 Hugging Face、OpenRouter、build.nvidia.com、AWS SageMaker JumpStart、DeepInfra、fal.ai 等平台同步上线,采用 NVIDIA Open Model Agreement 商用许可。 Mamba2+Transformer+MoE 三件套 编码器一次性集成
Nemotron 3 Nano Omni 走的是 Mamba2 Transformer Hybrid MoE 架构,Mamba 层负责长序列内存效率、Transformer 层负责推理、统一文本解码器对外输出。视觉、音频、视频三个编码器直接焊在主模型上:Vision 用 C-RADIOv4-H,Audio 用 NVIDIA 自家 Parakeet,Video 走 3D 卷积加 Efficient Video Sampling(EVS)做长视频降本。
输入侧规格:MP4 视频最长 2 分钟,1080p 建议 1 FPS / 128 帧、720p 可上调到 2 FPS / 256 帧;WAV/MP3 音频最长 1 小时,采样率 8kHz 起。输出仅文本,但支持词级时间戳——这是面向转录与字幕场景的关键能力。上下文长度从 16K → 49K → 262K 渐进式扩展训练,最终对外的 256K 窗口足以塞下多小时会议录音、整段视频时间线或多文档混合材料。
训练量级方面,NVIDIA 公开的数据是适配器和编码器阶段消耗约 127B tokens 跨模态数据,后训练 124M 条精选样本(覆盖 text+audio、text+image、text+video、text+video+audio 四种组合),RL 阶段 20 个数据集 25 个环境覆盖视觉定位、图表与文档理解、视觉密集型 STEM、视频理解、ASR 共 5 个新增多模态任务。
9 倍吞吐换的是定位 Perception sub-agent 不做语音输出
9 倍吞吐这个数字背后是清晰的定位选择:Nemotron 3 Nano Omni 不是端到端全能多模态模型,而是面向 agentic AI 的感知子代理(perception sub-agent)。NVIDIA 在文档中反复强调"replaces fragmented model stacks"——在传统 agent 架构中,感知层往往由 OCR、ASR、视觉理解、文档解析多个模型拼接,Nano Omni 把这些压进单次推理调用,降低 orchestration 开销和跨模型同步成本。
三类目标场景在公告中被明确点名。Computer use agents 是最具体的:H Company 已经把 Nano Omni 接入其计算机使用 agent,以 1920×1080 原生输入分辨率读屏推理,在 OSWorld 基准上的 GUI 导航有显著提升。Document intelligence 覆盖合同、SOW/MSA、科研与财务文档,处理图表表格混合输入。Audio/video understanding 则面向客户服务、研究与监控场景,典型用例包括 Doordash 的视频送达 OCR 验证、drive-thru 订单核对。在系统层面,Nano Omni 可与 Nemotron 3 Super(高频执行)和 Ultra(复杂规划)配合,也可挂在第三方专有模型旁边作为感知层。
与 Qwen3-Omni 路线分歧 砍掉 Talker 换吞吐
最直接的开源竞品是阿里 9 月开源的 Qwen3-Omni-30B-A3B——同样的 30B-A3B MoE 规格、同样原生四模态、Apache 2.0 协议。但两条路线的设计哲学截然不同。Qwen3-Omni 走 Thinker-Talker 双模块 MoE 架构,主打 234ms 首包延迟的语音输出与实时音视频交互,定位是面向终端用户的全模态对话伙伴,在 36 个音频与音视频基准上拿下 32 个开源 SOTA。
Nemotron 3 Nano Omni 直接砍掉 Talker(语音输出)只保留 Thinker(感知-推理),输出全部归结到文本侧。代价是失去实时语音交互能力,收益是把推理资源全部压到感知效率上,9 倍吞吐和"agent 子组件"定位由此成立。第三方部署伙伴 Unsloth 的文档中明确给出对比结论:Nemotron 3 Nano Omni 在每一项基准上超越 Qwen3-Omni-30B-A3B。基准包括 MathVista、Video-MME、OCRv2、CharXiv、ScreenSpot-Pro、MMLongBench-Doc、WorldSense、Daily Omni、MMAU、VoiceBench 等。
放在更大坐标系里,这是开源多模态的第三条路线:Qwen3 押"全模态-全输出"做对话伙伴,商汤 SenseNova U1 押 NEO-Unify 砍掉 VE 和 VAE 做架构原生统一,Nemotron 3 Nano Omni 押"输入全开-输出收敛"做 agent 感知层。
部署生态全栈 边缘到云一次拉通
Nemotron 3 Nano Omni 在部署层的覆盖面比模型本身更值得关注。模型权重、训练数据、训练 recipe 全部开源,GitHub 上 NVIDIA-NeMo/Nemotron 仓库提供端到端复现代码——尽管 NVIDIA 也明确说明开源版本仅基于公开数据子集训练,与发布版的基准成绩存在差距。
平台侧从边缘到云一条龙:NVIDIA Jetson 嵌入式硬件、DGX Spark 与 DGX Station 桌面端、数据中心与云端均支持。量化版本由 Unsloth 等合作伙伴提供 day-zero 支持,4-bit 仅需 25GB RAM、8-bit 需 36GB,中端工作站本地可跑。第三方推理平台 OpenRouter 直接放出免费调用接口,DeepInfra 提供 OpenAI 兼容 API,AWS SageMaker JumpStart 上 FP8 精度版本一键部署。Nemotron 3 全家族(Nano、Super、Ultra)过去一年累计下载 50M+,这次 Nano Omni 是把已有开发者基本盘延伸到多模态 agentic 战场。
局限与待解
几个具体问题在 launch 阶段已经浮出水面。视频输入硬上限 2 分钟,1 小时以上的会议录像需自行切片;输出无语音,需要 agent 层接 TTS 才能闭环;CUDA 13.2 存在已知的 gibberish 输出问题,NVIDIA 表示在修;部分多模态量化版本在 Ollama 上不工作,需要 llama.cpp 兼容后端。
更关键的是训练数据透明度。NVIDIA 公开声明 Nemotron 3 Nano Omni 的训练用到 Qwen3-VL-30B-A3B-Instruct、Qwen3.5-122B-A10B、Qwen3.5-397B-A17B、Qwen2.5-VL-72B-Instruct、gpt-oss-120b 多个模型生成的合成数据。这种"开源蒸馏"路径在合规和性能可复现性上都还没有形成行业共识——开放协议下使用其他模型蒸馏数据的边界、以及移除合成数据后真实能力的可独立复现性,会是后续技术报告需要回答的问题。"9 倍吞吐"对比口径中"同等交互性"的具体衡量标准也没有给出细则,基准对照面待第三方独立评测验证。
短期看,Nemotron 3 Nano Omni 提供的是一种"把感知层折叠成单模型调用"的工程方案。对正在搭建 multi-agent 架构、苦于 OCR+ASR+VLM 多模型拼接成本的企业 agent 团队,这个开源选项的实际价值会很快被验证。