MiniMax 近期公开了 M2 系列"无法输出马嘉祺"问题的完整排查报告,技术结论指向后训练阶段 token 频次覆盖不足导致退化。但报告里一组数据更值得关注:全词表约 20 万 token 中约 4.9% 出现显著退化,其中日语 token 退化比例高达 29.7%,远超中文(3.9%)、英文(3.5%)、俄语(3.7%)和韩语(3.3%)。这组数据指向一个被行业普遍忽视的问题——Agent 化训练范式正在以一种隐性方式重塑模型的输出边界。
「马嘉祺事件」不是个例,是一种机制
按 MiniMax 的排查,"嘉祺"两个字在 BPE 分词器中被合并为一个独立 token,预训练阶段已被充分学习,但后训练对话数据中包含该 token 的样本不足 5 条。结果是模型仍能正确理解所有关于马嘉祺的信息,但生成时会偏向"佳琪""琪琪"等被高频练习过的近音 token。
真正值得关注的是对全词表的扫描结果。退化排名前列的 token 中包括"传奇私服"(第 6 位)、"无痛人流"(第 17 位)、"外墙涂装"(第 166 位)——这些是典型的中文 SEO 垃圾关键词,预训练互联网语料里大量出现,但后训练对话数据完全没有覆盖。最大类别是日文口语和博客模板表达,占退化 token 总数的 40% 以上。
这意味着"马嘉祺"不是孤立的工程 bug,而是一种结构性机制的可观察表征——任何在预训练时被分词器赋予独立 token、但在后训练阶段未被充分练习的字符组合,都可能经历同样的输出能力衰退。所有使用 BPE 分词器 + SFT/RLHF 后训练范式的主流模型,包括 DeepSeek、Qwen、Kimi 等,理论上都面临同等机制下的风险,区别只在于退化的具体分布。 tool_call 在挤压什么——Agent 化训练的隐性代价
MiniMax 报告里有一句关键描述:后训练时大量频繁出现的 token(如 tool_call 标记、代码符号)会持续更新自己周围的向量空间,把低频 token 挤压到不该去的方向。这句话点出了挤压的来源,但没有展开它的产业含义。
回到 2025 年下半年到 2026 年初的行业趋势:Claude Skills 与 Agent SDK 标准化、Cursor 推出独立 SDK、OpenAI 发布 Codex Atlas、国内 Manus 与 KroWork 等桌面 Agent 集中涌现,整个行业都在向"模型会用工具、会调 API、会写复杂代码"的方向推进。这种推进体现在训练侧,就是 SFT 与 RLHF 阶段大量堆叠结构化 token——tool_call、function_call、JSON schema、代码符号、Markdown 标记。 一个可推断的因果链由此成立:模型的 Agent 能力越强,意味着这些结构化 token 在后训练中被练习的强度越高;强度越高,对低频 token 向量空间的挤压效应就越强;挤压越强,"看不见的输出能力衰退"分布就越广。换句话说,Agent 化能力的提升,可能正在以一种隐性方式蚕食模型在非工具调用场景下的语言生成能力。
这一推断目前缺乏跨厂商的横向数据验证。MiniMax 是少数公开排查细节的厂商,DeepSeek、Qwen、Kimi、Claude 等团队均未披露各自模型的 token 退化分布。但如果上述机制成立,那么 Agent 训练强度与隐性退化的正相关关系,可能是整个行业共享的副作用。 评测体系测不出这种衰退,这是真正的产业警示
MiniMax 在报告中明确指出,模型仍能准确回答马嘉祺的所有信息,丢失的只是输出这个 token 的能力。这句话的重要性在于指出了一个评测盲区——当前主流的大模型评测体系几乎全部集中在理解和推理能力维度。MMLU 测知识、GSM8K 测数学、HumanEval 测代码、Chatbot Arena 测对话偏好,但没有一项基准在系统性检测"模型还能不能正常输出词表里的每个 token"。
日语 29.7% 的退化数据放在产业语境里有具体含义。日本是国产大模型出海的重点目标市场,阿里、字节、零一万物等团队均在该市场有布局。如果日语 token 普遍存在严重退化,那么国产模型在日本市场的真实可用性,可能与基准测试呈现的能力存在系统性偏差。同样的逻辑也适用于其他小语种市场。
对模型使用方而言,这件事的实际启示有两层:一是选型时不能只看公开榜单分数,垂类高频词与小语种生成的实测同样重要;二是当模型在某些特定输出上出现莫名其妙的偏差时,"幻觉"可能不是唯一解释,token 层面的训练失衡是另一种可能。
需要说明的边界是,"Agent 化训练强度与 token 退化正相关"目前是一种机制推断而非已被数据证实的结论。MiniMax 未公开其 Agent 训练数据在 SFT 中的具体占比,其他厂商也未披露同等粒度的排查报告。该推断的进一步验证,依赖于行业更多团队公开类似的全词表扫描数据。但 MiniMax 此次将完整排查链路公开,提供了一份可被复用的方法论框架——这或许是这次"马嘉祺事件"对行业最具长尾价值的部分。