3月18日消息,Mamba架构创始人Albert Gu在社交媒体发布公告线程,正式宣布Mamba系列最新迭代——Mamba-3。该论文已被机器学习顶级会议ICLR 2026录用为Oral论文,arXiv论文(2603.15569)、代码及配套技术博客同步公开。
值得一提的是,这是Mamba系列首个以学生为主导完成的模型,核心贡献者包括Aakash Lahoti、Kevin Li、Berlin Chen和Cait WW,以及Mamba联合创始人Tri Dao。
什么是Mamba:从Transformer的挑战者说起
Mamba架构最早由Albert Gu和Tri Dao于2023年12月提出,是一种基于选择性状态空间模型(Selective SSM)的序列建模架构,旨在解决Transformer在长序列处理上的计算瓶颈。当前主流大语言模型几乎都基于Transformer,其注意力机制虽能捕捉序列中的复杂关系,但计算量随序列长度呈二次增长,推理成本极为昂贵。
初代Mamba通过引入选择性SSM机制,让模型参数成为输入的函数,使其能够根据当前token选择性地传播或遗忘序列信息。Mamba实现了5倍于Transformer的推理吞吐量,计算量随序列长度线性增长,在语言、音频、基因组学等多个模态上均达到当时最优性能。
2024年,Mamba-2发布,通过证明SSM与注意力机制在数学上的等价性,大幅提升GPU效率,实现两到八倍速度提升。此后Mamba-2等线性模型层已被NVIDIA、Kimi团队、腾讯混元团队等大规模混合模型广泛采用。 然而Mamba-2存在两个关键短板:其状态转移矩阵被限制为实数标量,导致模型无法表示旋转动力学,在奇偶校验等基础状态追踪任务上出现灾难性失败;同时解码阶段算术强度极低(约2.5 FLOPs/byte),H100等加速器大部分时间处于半闲置状态。
Mamba-3的三项核心SSM改进
Albert Gu在公告中指出,面对当前Hybrid混合模型的热门趋势,团队选择聚焦下一代纯线性模型设计,在不牺牲速度的前提下大幅提升建模能力。Mamba-3以"推理优先"哲学为指导,提出三项系统性改进:
**第一,改进离散化方法。**Mamba-3从传统的零阶保持(ZOH)/ 欧拉方法转向更严谨的指数梯形离散化(exponential-trapezoidal discretization)框架,结合显式B、C偏置,能够模拟卷积效果,从而彻底取消了此前所有线性模型必备的短因果卷积(short conv)组件。Albert Gu将此称为"更优雅"的方案——不仅提升了模型质量,还简化了整体架构。
**第二,状态转移复数化(Complex SSM)。**Mamba-3将底层SSM扩展为复值形式,通过幅度(magnitude)与旋转(rotation)的分解实现更具表达力的状态更新,且兼容现有kernel和旋转位置编码(rotary embeddings)思路,等价于数据依赖的RoPE,可高效计算。这一改进直接解决了Mamba-2在简单状态追踪任务上的根本性缺陷:在奇偶校验(bit parity)任务上,Mamba-2准确率接近随机水平(约0.9%),Mamba-3则达到100%。
**第三,从SISO转为MIMO结构。**在标准单输入单输出SSM中,状态更新为外积运算,算术强度远低于现代GPU能力。Mamba-3通过将输入投影为矩阵,将递推转化为矩阵乘法,在不增加递推状态规模的前提下,将运算推入计算受限区间。这一设计在训练时略慢,但在推理时显著提速并大幅提升模型能力——在实际部署中更具价值。
其他架构调整
除三大核心改进外,Mamba-3还集成了BC/QK Norm等现代语言模型常用组件,整体架构更为简洁。团队强调Mamba-3可用于任意模态,本次发布重点聚焦语言建模。
实验结果:全面超越前代
在1.5B参数规模上,Mamba-3的平均下游准确率比此前最优模型Gated DeltaNet提升0.6个百分点,MIMO变体进一步提升1.2个百分点,总计提升1.8个百分点。Mamba-3在使用Mamba-2一半状态规模的情况下,达到与其相当的困惑度。
Albert Gu在公告中强调,Mamba-3在所有规模上都显著优于前代Mamba-2以及Gated DeltaNet等流行线性模型,尤其在语言建模任务上表现突出。
局限与展望
论文指出,尽管Mamba-3在"大海捞针"等检索任务上表现良好,但在半结构化或非结构化数据信息提取方面仍存在局限。研究团队认为整合检索机制的混合Mamba-3架构是有前景的方向。
社区对Mamba-3反响热烈。有研究者在评论中调侃,既然Mamba-3的离散化从欧拉方法升级到了梯形法,Mamba-4很可能会采用经典的四阶Runge-Kutta方法——这恰好与"Mamba-4"中的数字吻合。
资源链接
论文:arxiv.org/abs/2603.15569;
代码:github.com/state-spaces/mamba;
技术博客:goombalab.github.io/blog/2026/mamba3-part1/
tridao.me/blog/2026/mamba3-part1/