大模型经过强化学习训练后，超过98%的Token输出几乎没有变化——真正决定推理成败的，只有不到2%的关键决策点。但现有主流算法对所有Token一视同仁，答案对了就把奖励平摊给每一个Token，模型根本不知道哪一步走对了、哪一步在把自己带偏。通义实验室智能计算团队提出FIPO（Future-KL Influenced Policy Optimization）算法，通过追踪每个Token对后续推理的实际影响来精确分配功劳，在32B规模的纯强化学习设定下首次超越o1-mini。
第一个发现：强化学习只动了不到2%的Token
业界普遍直觉认为，大模型经过RL训练后推理机制会被大幅重写。团队把训练前后的每一个输出决策逐字对比后发现完全不是这样：模型输出分布的散度在绝大部分位置趋近于零，只在极少数位置出现脉冲式突增。
这意味着RL并没有为模型创造新能力，而是像一个精准的"变道开关"——只在少数关键逻辑决策点上轻轻一推，就把模型引导到一条它本来走得到、但难以全程保持的正确路径上。改变极度稀疏，但每一处都至关重要。
第二个发现：传统指标找不到关键Token
知道关键Token存在是一回事，在数万个Token里把它们找出来是另一回事。团队发现常用的评估指标（熵、KL散度）存在天然盲区：它们只能衡量"变了多少"，看不出"往哪个方向变"。在这些指标下，基础模型和RL模型的输出分布高度重叠，依然大海捞针。
团队引入了新的观察维度：符号对数概率差（Δlog p）。简单理解就是：RL到底是在鼓励还是在打压某个Token的生成。用Δlog p筛选出的关键决策点，只需替换极少比例的Token就能最高效地还原完整RL推理性能，精准度远超KL散度和熵。
更意外的是，这个发现直接带来了工程价值：在测试阶段沿Δlog p方向放大关键决策，模型无需任何额外训练，数学解题准确率就能显著提升。
第三个发现："自我误导"是"顿悟"的三倍
业界普遍期待模型在长推理链中能自我纠错——所谓的"Aha Moment"（顿悟时刻）。但团队观察到的现实截然相反。
一个典型案例：模型在第108步已经算出了正确答案3507，紧接着自己生成了一句"Wait, let me double check..."，然后被自己新构造的错误逻辑带偏，最终输出了15。团队将这种现象命名为"Oops Moment"（自我误导时刻）。
这不是偶发个例。对大量零基础RL验证数据的统计显示：正向"顿悟"发生率约1%，破坏性"自我误导"发生率约3%。自我误导几乎是顿悟的三倍。
根本原因在于主流RL算法的奖励机制太粗糙：只要最终答案对了，就把奖励统一分配给推理链上的每一个Token——无论它是关键的逻辑推进，还是一句"let me double check"式的自我怀疑。模型无法感知局部对错，在长推理链里不知道哪步走对了、哪步在带偏自己，最终陷入"推理长度停滞"的瓶颈。
FIPO的核心思路：给每个Token算一笔"未来影响力"账
三个发现归结为一个结论：模型知道怎么推理，但训练机制不知道哪一步推对了。
FIPO的解法是：不再等到最终答案才结算奖励，而是在推理过程中实时追踪每个Token对后续推理轨迹的实际影响。具体做法是计算每个Token引发的概率偏移，然后将从该Token到推理链末尾的所有偏移累加，得到该Token的"未来影响力"（Future-KL）。
根据这个指标，算法做两件事：如果某个Token对后续推理有正向推动（比如一个关键的逻辑转折让后面的推理更顺畅），增加它的权重，视为"稳定锚点"；如果某个Token正在拖累后续推理（比如一句不必要的自我怀疑导致后面全部跑偏），降低它的权重，阻止错误蔓延。
用一个比喻：传统算法像是考试结束后老师只看最终成绩给分，答对了就给全班每人同样的奖金。FIPO像是一个全程跟踪的教练，知道第15分钟的那个传球才是进球的关键，把功劳精确算给真正做出贡献的人。
三道防线保证训练稳定
直接使用Future-KL容易导致梯度爆炸和训练崩溃。FIPO设计了三个稳定性机制：极端值过滤——屏蔽具有极端更新波动的Token，消除最主要的不稳定源；软衰减窗口——引入折扣因子模拟因果影响力的递减，让模型优先关注局部逻辑连贯性，过滤远处累积噪声；影响力权重裁剪——将权重严格限制在安全区间内，防止极端概率偏移引起的数值崩塌。
实验结果：推理长度从4000突破到10000，AIME准确率58%
团队在完全未接触过长逻辑链数据的Qwen2.5-32B-Base上验证。传统算法的推理长度停滞在约4000 Token，FIPO将平均推理长度推升至10000 Token以上。关键是，变长的不是废话而是真实的深度思考——推理长度增加与解题准确率呈强正相关。
在AIME 2024数学基准测试中，FIPO将基线DAPO算法50.0%的瓶颈突破至58.0%。这使FIPO成为首个在32B参数规模、零外部长思维链先验的纯RL设定下成功超越o1-mini的开源方案。同时也超越了同规模的DeepSeek-Zero-MATH。 训练过程的监控指标（策略散度平滑上升、梯度范数持续低位、熵保持探索）表明模型在稳定拓展推理空间而非陷入局部拟合。
与现有方案的差异
FIPO解决的核心问题是"信用分配粒度"。标准GRPO和DAPO等算法使用全局统一奖励，答案对了奖励平摊给所有Token。Process Reward Model（PRM）虽然也试图做步骤级奖励，但需要额外训练一个奖励模型，且奖励粒度是步骤级而非Token级。FIPO不需要额外奖励模型，直接从策略自身的概率偏移中提取Token级影响力信号，计算开销更低且粒度更细。
资源与局限
论文、代码、模型和训练曲线全部公开。代码在GitHub（github.com/qwenpilot/FIPO），模型在ModelScope（qwenpilot/FIPO_32B），训练曲线在SwanLab可交互查看，四篇技术博客详细记录了从发现到算法的完整思路。
需要注意的是，目前的验证集中在数学推理任务上（AIME、MATH等），FIPO在代码生成、自然语言推理等其他推理密集型任务上的效果需要更多验证。32B规模的结果是否能平移到更大或更小的模型上也有待确认。此外，Future-KL的计算需要追踪每个Token到序列末尾的累积偏移，在极长序列上的计算效率是一个工程层面需要关注的点。
AI 速览
