盛大集团旗下AI记忆团队EverMind正式发布Memory Sparse Attention（MSA），首次实现端到端可训练的大模型终身记忆框架，在16K到1亿token的跨度上保持不到9%的精度衰减。仅需2张A800即可完成1亿token推理。
EverMind：盛大集团旗下专注“发现式AI”记忆系统的团队，与MiroMind为姐妹项目。
一、为什么LLM需要"终身记忆"？
当前大语言模型的有效上下文窗口通常在128K到1M token之间。而认知科学研究估计，人类记忆的功能性信息容量约为10⁹比特——按每token 3-5比特的有效语义密度换算，大约相当于2-3亿token。
这意味着，如果要实现"数字分身"（Digital Twin）级别的AI个性化应用，模型需要处理的上下文规模在亿级token量级。但现有方案都面临根本性的瓶颈：
- 参数记忆（LoRA、持续预训练）：灾难性遗忘严重，管理复杂
- 外部存储记忆（RAG、MemAgent）：检索与生成割裂，无法端到端优化，精度存在天花板
- 潜状态记忆（线性注意力如RWKV/DeltaNet）：固定大小状态导致信息严重丢失；KV缓存方法（如DSA）精度好但计算开销无法扩展到1亿token
简单来说，没有一个现有方案能同时做到"可扩展、高精度、端到端可训练"这三件事。
二、MSA是什么？四大核心创新解析
Memory Sparse Attention（MSA）是EverMind团队提出的端到端可训练稀疏注意力框架。它的设计目标很明确：让通用模型具备内在的、可扩展到终身规模的记忆能力。
2.1 记忆稀疏注意力机制
MSA将传统的密集自注意力替换为基于文档的稀疏检索注意力。具体流程为：
- 文档编码：对记忆库中的每个文档，生成标准K/V矩阵的同时，通过专门的Router K Projector生成路由键KR
- 分块压缩：将每个文档切分为固定长度的chunk，通过mean pooling压缩为紧凑的潜在表示
- 双层路由：收到查询后，先计算路由查询QR与压缩路由键KR的余弦相似度，在chunk级和文档级分别做聚合，选出Top-k最相关文档
- 稀疏生成：仅将被选中文档的压缩K/V与查询的本地KV拼接，执行注意力计算
关键在于——这个路由过程是可微分的，并通过对比学习辅助损失（Laux）进行监督训练，使得检索和生成可以联合端到端优化。这是MSA与所有RAG系统的根本区别。
2.2 文档级RoPE：训练短、推理长
传统全局位置编码在推理时文档数量暴增会导致位置ID远超训练范围，性能急剧下降。MSA为每个文档独立分配RoPE（位置ID从0开始），将位置语义与文档总数解耦。
实际效果：训练仅用64K上下文，即可外推到1亿token，极大降低训练成本。
查询和生成部分则使用全局RoPE，位置ID从Top-k处偏移，确保模型将检索到的背景信息视为生成的前文。
2.3 KV缓存压缩与内存并行
1亿token的压缩KV和路由键缓存在BF16精度下约需169GB显存，超过标准2×A800节点的160GB总量。MSA设计了分层存储策略：
- 路由键KR驻留GPU：约56GB，分布在多GPU显存中，确保低延迟检索
- 内容KV放CPU内存：仅在选中Top-k文档后，异步从CPU拉取对应KV到GPU
配合Memory Parallel（查询广播→各GPU本地打分→全局归约Top-k索引），实现了标准单机2×A800上的1亿token全流程推理。
2.4 记忆交错（Memory Interleave）
面对多跳推理（如"Erik Watts的父亲出生于何时？"需要先找到Erik Watts→发现其父是Bill Watts→再查Bill Watts生日），MSA采用迭代式检索-生成循环：
- 重复以上过程，直到模型判断证据充分，转为生成最终答案
每轮检索的文档数量不固定，由模型自适应决定，天然支持复杂推理链。
三、性能数据：小模型打大模型
MSA基于Qwen3-4B-Instruct-2507构建（4B参数），经过158.95亿token的持续预训练和两阶段SFT课程学习。
3.1 问答任务：9大基准平均3.760
在MS MARCO、Natural Questions、DuReader、TriviaQA（10M）、NarrativeQA、PopQA、2WikiMultiHopQA、HotpotQA、MuSiQue共9个基准上（记忆库从27.7万到1000万token），MSA以@adaptive自适应检索模式取得平均3.760分（LLM Judge 0-5分制）。
对比同底座RAG（Qwen3-4B）：
对比顶级RAG堆栈——KaLMv2检索器 + Qwen3-235B生成器（参数量是MSA的近60倍）：
MSA在9个数据集中的4个上取得最高分（MS MARCO、DuReader、PopQA、2WikiMultiHopQA），整体平均分比KaLMv2+Qwen3-235B+Rerank的3.580高出5.0%。在MS MARCO上，MSA得分4.141，领先幅度尤为显著。
3.2 大海捞针（NIAH）：1M token准确率94.84%
在RULER基准的8个子任务上，MSA从32K到1M token的准确率变化为：
MSA在1M token时准确率94.84%，从32K到1M仅下降3.93个百分点。而同底座Qwen3-4B在256K时就崩溃到48%。即使是80B参数的Qwen3-Next在1M时也只有80.78%。
3.3 极限扩展：16K→1亿token，衰减不到9%
在MS MARCO QA上，MSA从16K的4.023分缓慢下降到1亿token的3.669分，衰减仅8.8%。相比之下，GPT-4.1和DeepSeek-V3.2在百万级别就开始明显下滑，Qwen3-4B原版在512K时就跌破1.5分。 四、消融实验：每个模块都不可缺
论文提供了详细的消融数据（4个基准平均分）：
几个关键发现：
- 持续预训练是根基：去掉后掉31.3%，多跳任务HotpotQA暴跌43.1%
- 原始文本注入最关键：仅靠文档ID定位不够，后续注入原文语义对精确回答至关重要
- 记忆交错对多跳推理必不可少：HotpotQA单独下降19.2%
- 课程学习显著提升外推：MS MARCO上S2比S1高29.5%
五、复杂度分析：近线性
单次查询的推理复杂度为O(L)——线性于记忆规模，而传统注意力方法每次查询都需要O(L²)的prefill。
六、团队背景与资源
MSA由EverMind团队开发，隶属盛大集团（Shanda Group），论文作者12人，核心成员包括Yu Chen（陈宇）、Runkai Chen（来自北京大学）等，通讯作者为Yafeng Deng（邓亚锋，CEO）和Tianqiao Chen（陈天桥）。
EverMind此前已发布EverMemOS长期记忆操作系统（GitHub 1.9K+ Star），并获OpenAI支持举办Memory Genesis 2026全球开发者黑客松。MSA论文代表了该团队从"工程级记忆系统"向"端到端模型级记忆"的技术路线延伸。
官方资源：
- GitHub仓库：github.com/EverMind-AI/MSA（代码与模型即将开源）
- 预训练数据：158.95亿token，覆盖科学文献、社区问答、新闻摘要、电商评论、代码等17大领域
七、对行业意味着什么？
MSA的核心贡献可以用一句话概括：将记忆容量与推理能力解耦。
这意味着：
- Agent终身记忆成为可能：不再依赖外部RAG管道，模型内在具备亿级token记忆
- 成本大幅降低：4B小模型在2张A800上就能处理1亿token，无需数百GPU的全注意力架构
- 端到端优化消除精度天花板：检索和生成联合训练，不再受限于离散检索的性能上限
- Memory-as-a-Service的技术基础：任何通用模型理论上都可以通过MSA获得记忆能力
当然，论文也坦诚了局限性：当多个文档之间存在强耦合依赖关系时，纯粹的内在记忆仍有困难，记忆交错机制虽有帮助但还需更高效的设计。
AI 速览
