6月11日消息，Google DeepMind发布DiffusionGemma，一个基于Gemma 4架构的26B参数MoE开源模型，用文本扩散取代逐token自回归生成，在NVIDIA H100上实现超1000 token/s的推理速度，采用Apache 2.0协议。
不是逐词写，而是整块"去噪"
传统大语言模型的生成方式是自回归（autoregressive）：每次预测下一个token，严格从左到右，每个token依赖前一个token的输出。这种方式的瓶颈在于显存带宽——模型必须反复从显存加载权重来生成每一个token，GPU的张量核心（tensor cores）大部分时间处于空闲状态。
DiffusionGemma的做法不同。它采用"块自回归多画布采样"（block-autoregressive multi-canvas sampling）机制：先在一个256 token的"画布"上填入随机占位token，然后通过多轮去噪（denoising）并行修正，每轮前向传播确定约15-20个token的最终位置。模型使用双向注意力（bidirectional attention）同时评估整个文本块，允许在生成过程中进行实时纠错——这是自回归模型做不到的，因为自回归一旦提交一个token就无法回头修改。
架构上，DiffusionGemma采用编码器-解码器结构：自回归编码器处理并缓存提示语境，扩散解码器在生成画布上执行双向注意力。推理时仅激活3.8B参数（总量26B MoE），量化后可在18GB显存内运行，适配RTX 5090等高端消费级GPU。
速度数据：快在哪里，有多快
据Google官方数据，DiffusionGemma在单卡H100上达到1000+ token/s，在RTX 5090上达到700+ token/s。vLLM团队在发布当天宣布原生支持DiffusionGemma（这是vLLM历史上第一个扩散模型），使用FP8量化后在H200上跑出1288 token/s，在H100上跑出1008 token/s，约为自回归基线的6倍。
需要理解的是，这个速度优势有明确的适用边界。Google在开发者文档中明确指出，DiffusionGemma的并行解码在低并发、单用户本地推理场景下收益最大；在高QPS云端批量推理场景下，并行解码的边际收益递减，吞吐量优势会被压缩。换句话说，它为本地部署而生，不是云端大规模服务的替代品。
质量代价：所有基准均低于Gemma 4标准版
Google对这个trade-off没有回避。DiffusionGemma与同架构的Gemma 4 26B-A4B标准版的基准对比如下：MMLU Pro 77.6% vs 82.6%，GPQA Diamond 73.2% vs 82.3%，AIME 2026 69.1% vs 88.3%，LiveCodeBench v6 69.1% vs 77.1%，Codeforces ELO 1429 vs 1718，MRCR 8-needle 128K长上下文 32.0% vs 44.1%。几乎所有维度均存在5到19个百分点的差距。
不过DiffusionGemma在少数任务上反超：HLE no tools 11.0% vs 8.7%，AIME 2025 23.3% vs 20.0%。Google将其优势场景定位为代码内联编辑（code infilling）、实时迭代和非线性文本结构生成——这些任务对生成速度的敏感度高于对逐token精确度的要求。
竞品坐标：扩散式文本生成不止Google一家
DiffusionGemma并非文本扩散模型的首创。2025年初，Inception Labs发布的Mercury Coder是第一个商业化扩散语言模型，主打编码场景，宣称在H100上达到10倍于自回归模型的速度，质量对标GPT-4o Mini和Claude 3.5 Haiku。学术界的LLaDA系列（2025年）已将掩码扩散语言模型（MDLM）扩展到8B参数，在GPQA、MMLU等基准上接近同规模自回归模型。 DiffusionGemma的差异化在于三点：一是26B MoE规模远大于此前的开源扩散模型，二是多模态能力（支持图像和60秒视频输入），三是与vLLM和NVIDIA生态的深度绑定——发布当天vLLM原生支持、NVIDIA同步宣布针对RTX GPU的优化。这种生态协同是Mercury和LLaDA目前不具备的。
值得关注的是
DiffusionGemma标注为"实验性模型"（experimental），Google明确建议"需要最高质量的应用请使用标准Gemma 4"。这意味着它目前不是生产级推荐方案。现有工具链的支持也不完整：标准llama.cpp尚不支持扩散采样器，需要使用包含PR #24423的定制构建版本（entropy_bounded_denoising采样器、线性衰减温度0.8→0.4、自适应停止）。Unsloth Studio的支持仍在开发中。
更深层的问题在于，扩散式文本生成在开放式长文本生成和语义连贯性方面仍然是已知短板。学术研究显示，现有MDLM在需要连贯回答的基准（如Arena-Hard、MTBench）上表现明显弱于自回归模型，对token位置偏移的敏感度也更高。DiffusionGemma的128K长上下文基准（MRCR 8-needle）仅32%，比Gemma 4低了12个百分点，这暗示扩散机制在处理长距离依赖时的局限尚未完全解决。
对开发者来说，DiffusionGemma更适合被视为一个技术验证和探索工具——在本地GPU上需要极速交互式补全的场景中值得尝试，但用于面向用户的产品输出仍需谨慎评估质量损失。
AI 速览
