4月16日消息,Nucleus AI正式推出Nucleus-Image。据介绍,Nucleus-Image 是全球首个稀疏专家混合(Sparse Mixture-of-Experts,MoE)扩散模型,专为文本到图像(Text-to-Image)生成而生。它以170亿总参数、每前向传播仅激活约20亿参数的极致效率,重新定义了扩散Transformer的性能边界。
仅通过纯预训练,即可与 GPT Image 1、Imagen 4 及 Qwen-Image 正面抗衡。无需 DPO 优化、无需强化学习、无需偏好调优。基于 Apache 2.0 协议完整开源。
Nucleus-Image核心参数与效率亮点
Nucleus-Image采用稀疏MoE架构,彻底打破传统稠密扩散模型的计算瓶颈:
- 参数效率:比主流稠密扩散模型高10倍,在相同计算预算下实现更高模型容量利用率
- 专家配置:32层扩散Transformer中,29层为MoE层,每层包含64个路由专家 + 1个共享专家;前3层采用稠密FFN确保训练稳定性
它采用Expert-Choice Routing(专家选择路由)机制,动态分配计算资源,只激活最相关的专家子网络。同时结合分组查询注意力(Grouped-Query Attention)和自适应调制,参数利用率达到极致。训练阶段使用FSDP2 + Expert Parallelism,支持大规模分布式训练。
Nucleus-Image性能表现:纯预训练即SOTA
Nucleus-Image完全基于纯预训练发布,未经过任何后训练优化,所有基准均为base model原始表现,却已能与当前最强模型正面交锋:
| | | |
|---|
| | 匹配 Qwen-Image,领先 GPT Image 1 | |
| | 领先 Qwen-Image、Seedream 3.0 | |
| | 超越 Imagen 4(0.515)、Recraft V3 | |
在组合性保真度、密集提示遵循、多维度生成质量三大核心维度上,Nucleus-Image全面达到或超越GPT Image 1、Imagen 4和Qwen-Image,证明“稀疏扩展”是实现高品质图像生成的高效路径。
Nucleus-Image技术创新点
- 稀疏MoE首次落地扩散模型:29/32层替换为MoE层,专家选择路由+解耦设计(路由器接收未调制token+时间步嵌入,专家接收完整调制表示),避免时间步主导路由,保留空间与语义专家专长。
- 训练数据:700M独特图像 + 15亿caption对,采用渐进式分辨率课程(256→512→1024)。
- 文本编码:Qwen3-VL-8B-Instruct + Qwen-Image VAE(16通道潜空间)。
- 位置编码:多维RoPE(mRoPE),原生支持多分辨率与宽高比。
- 推理优化:文本KV缓存(Diffusers原生集成)、解耦路由,进一步降低实际推理成本,支持多宽高比桶训练(1:1、16:9、9:16等)。
这些创新让Nucleus-Image在激活参数仅为传统模型1/10的情况下,仍保持顶尖生成质量。
Nucleus-Image开源与上手指南
Nucleus-Image是首个同级别完全开源的MoE扩散模型(Apache 2.0协议):
- 完整开源:模型权重、训练代码、数据集配方、arXiv技术报告全部公开
快速上手示例(Diffusers):
目前ComfyUI、WebUI等生态已快速跟进,开发者可立即体验人像、风景、艺术风格生成,质量一致性高、细节丰富。官方强调:“这是一个base model,后续post-training将进一步解锁潜力。”
为什么Nucleus-Image值得立即尝试?
Nucleus-Image以“更少的激活参数、更高的性能”为扩散模型树立新标杆。它不仅证明MoE架构完美适配图像生成任务,更为开源社区和产业界带来高效、可扩展的文本到图像生成新选择。