3月11日,英伟达发布博文,宣布推出Nemotron 3 Super开源大模型,官方称这是其迄今为止最强大的开源权重AI模型。参数规模、上下文窗口、推理速度,几个核心指标放出来确实有点东西——值得认真看一看。
英伟达最强开源权重AI模型:Nemotron 3 Super登场,120B参数、吞吐量飙升5倍
先说清楚"开源权重模型"是什么意思:简单讲就是把决定AI模型行为的关键参数(权重)向公众免费开放,你可以下载下来在自己的设备上跑,也可以在上面做微调,跟GPT-4那种完全闭源的模型不是一回事。
Nemotron 3 Super拥有1200亿参数,采用混合专家(MoE)架构,但推理时实际只激活其中120亿,这样在保住模型能力的同时,把计算开销压下来了。它专门为大规模运行复杂智能体(Agentic AI)系统设计,Perplexity、Palantir、西门子这些公司已经把它用在搜索、软件开发、电信和半导体设计等核心业务流程里了。 "上下文爆炸"和"推理税",是多智能体绕不开的两道坎
企业把AI应用从聊天机器人升级到多智能体系统之后,很快就会碰到两个头疼的问题。
多智能体之间的交互会产生大量Token,最多能到单智能体的15倍,成本蹭蹭往上涨,而且智能体在处理过程中容易"跑偏",丢失原本的任务目标——这就是所谓的"上下文爆炸"。另一个问题是"推理税":复杂智能体每走一步都需要推理,系统变得又贵又慢,实际部署起来根本不划算。
Nemotron 3 Super针对这两点做了专门设计,配备了100万Token的超大上下文窗口。智能体可以把完整的工作流状态一直保留在内存里,不用反复加载,目标偏移的问题得到了明显抑制,多步推理的成本也跟着降下来了。
架构和性能,具体怎么做到的?
MoE架构本身把吞吐量提升了5倍,准确率比前代翻倍。模型内部分工明确:Mamba层负责提升内存和计算效率,效率提升约4倍;Transformer层则专门处理高级推理任务。
比较有意思的是一个叫"潜在MoE(Latent MoE)"的新技术——用单个专家的计算成本,实际激活四个专家。换句话说,你花一份钱,能拿到四份推理能力,这个设计在效率上挺有创意。
另外模型还支持多Token预测,推理速度提升3倍。如果你跑在英伟达Blackwell平台上,用NVFP4精度运行,跟Hopper架构上的FP8相比,内存占用更低,推理速度快4倍。
实际场景里,它能一次性把完整代码库加载进去做端到端调试,或者瞬间读完几千页财务报告——这种场景以前要么做不到,要么成本高得离谱。
开放程度比想象中高
英伟达这次的开放策略挺彻底的,不只是放出模型权重,训练方法也公布了,包括超10万亿Token的数据集和评估配方,研究者想复现或者在此基础上做二次开发都有依据。
获取渠道方面,Hugging Face上可以直接下载,谷歌云、甲骨文已经上线,AWS和Azure也快了。同时模型已经被打包为NVIDIA NIM微服务,本地数据中心和云端都能部署,对企业用户来说接入成本不算高。
开源大模型这条赛道,英伟达这次算是认真下场了。Nemotron 3 Super无论是参数规模、上下文窗口还是推理效率,在开源权重模型里都算得上当前第一梯队。如果你正在搭建AI Agent系统,或者在找一个能真正落地的开源模型,这个值得放进你的候选名单里认真评估一下。