阿里通义实验室提出的 EAPO（Evidence-Augmented Policy Optimization）把长文本强化学习的监督粒度从"答案对不对"下沉到"证据找得准不准"，已被 ACL 2026 主会录用。框架基于 Qwen3-30B-Thinking 训练，在 SEAL、LongBench-V1/V2 等 8 个长文本推理基准上取得 63.1% 的平均分，相对基线提升 5.1 个百分点，反超 GPT-OSS-120B、GPT-4o、Claude Sonnet 4 等更大或更强的对照模型。 论文核心论点很硬：长文本场景下大模型的"幻觉"和"瞎猜"，本质不是推理出问题，而是证据没找对。EAPO 把这条诊断转成了一套可落地的 RL 算法。
长文本 RL 的真痛点：稀疏奖励放任"蒙对"
主流长文本 RL 方法都建立在结果奖励（outcome reward）之上——只看最终答案是否正确，给一个二元的稀疏信号。这套路径的缺陷在长上下文里被放大：模型可以引用一个完全无关的实体（比如把"MrBeast"当成印度频道）却恰好猜对答案数量，结果奖励仍会给满分。这种"shortcut"满足了二元监督，但模型并没有学会大海捞针的精准证据提取，下一次换个语料就翻车。
LongReward 走 DPO 优化自动化结果指标，LoongRL 用复杂推理数据合成喂标准 GRPO，QwenLong-L1 缓解结果奖励训练的不稳定——这三条已知路线都在结果奖励的框架里打补丁，没解决"未接地推理（ungrounded reasoning）"这个根本问题。EAPO 选择直接换框架：把过程监督注入到证据提取这个最关键的中间节点上。
预实验定锚：证据质量是长文本推理的决定性瓶颈
EAPO 在动手设计算法前先做了一个关键的预实验——树状证据采样（Tree-Structured Evidence Sampling）。同一道题让模型生成多条不同的证据提取路径，再分别评估每条路径的质量与最终答案表现。结论非常干脆：把高质量证据直接喂给模型推理，准确率从 45% 飙升到 63%；如果证据找得稀烂，单独优化推理步骤几乎拿不到任何提升。
这条数据把"证据是瓶颈"这个直觉变成了可量化的事实，也直接定义了 EAPO 的优化重心——不要在推理链路上空转，要在证据环节做强监督。这一点和此前一些只优化思维链格式的工作形成清晰区分：思维链漂亮不等于结论正确，证据找对几乎就找对了答案。
三件事拼起来的 EAPO 算法栈
EAPO 的实现拆成三个递进部件。第一件是证据增强推理范式，强制模型走"分析问题 → 提取原文证据 → 执行推理 → 给出答案"的 4 步结构化工作流，每一步都格式可查，中间的证据环节因此可以被独立监督。第二件是密集过程奖励，由三个分量加权组成：Format Adherence（Rf）做格式合规判定，格式无效直接清零；Group-Relative Evidence Quality（Re）由奖励模型对同组采样里多份证据组合打 1–5 分整数效用，再做组内归一化映射到 [0,1] 区间；Outcome Accuracy（Ra）保留传统结果正确性。
三个分量合成的 Rtotal 把"找对证据"和"答对题目"绑在同一条监督信号里，从结构上消灭了纯靠猜中拿满分的捷径。第三件是奖励模型与策略模型的自适应协同进化（Adaptive Reward-Policy Co-Evolution）——训练过程中那些高置信度且最终答案完全正确的优质证据链，会被反哺给奖励模型做微调，让评判标尺随着策略模型变强而同步变锐。这一步对长周期 RL 很关键：固定奖励模型在训练后期会出现分辨力衰减，协同进化把这条退化曲线掰成了上行曲线。
Benchmark 拆解：8 个基准 + 训练轨迹切片
整体性能层面，EAPO 在 SEAL、LongBench-V1、LongBench-V2 等 8 个长文本推理基准上做综合评测，基于 Qwen3-30B-Thinking 训练的版本拿到 63.1% 平均分，相对基线 +5.1pp，并在多个子项上反超体量更大的 GPT-OSS-120B、GPT-4o、Claude Sonnet 4。
训练轨迹的两个切片更值得看。一是收敛曲线：纯结果奖励的 GRPO 学得慢且天花板早早封顶，加入证据过程打分后准确率上升明显加速，再叠加协同进化机制后曲线突破瓶颈持续上行——三条曲线的形状差异说明过程奖励解决"学得快不快"，协同进化解决"能不能学得更高"。二是证据质量曲线：GRPO 隐式优化证据，全程缓慢爬升；EAPO 直接对证据质量打分，从训练早期就处于断崖式领先。
错误分析进一步把改进归因到具体类型——证据错误率从 17.7% 降到 13.5%，推理错误率从 20.7% 降到 15.4%。一个值得注意的细节是 EAPO 没有显式监督推理步骤，但推理错误率和证据错误率的下降幅度几乎一致，验证了"证据对了，推理自然对"的论文主轴。
横向对比：与 LongReward、LoongRL、QwenLong-L1、Search-R1 路线的差异
把 EAPO 放在长文本与搜索 RL 这条赛道里看，差异化非常明确。LongReward 走 DPO 路线优化结果指标，仍是结果导向；LoongRL 主要在数据合成层做加法，用更复杂的推理样本喂标准 GRPO，奖励信号本身没有结构变化；QwenLong-L1 集中在解决结果奖励训练的不稳定问题，但仍未跳出稀疏监督。Search-R1、ReSearch 这一类 search agent RL 方法关注的是"调用搜索工具的策略"而非"读完结果后的证据筛选"，与 EAPO 的优化目标互补但并不重合。
架构修改路线（如长上下文专用注意力变体）则在能力扩展上各有各的复杂度约束，与 RL 框架解耦。EAPO 真正独占的位置是把过程监督直接打在"证据"这一个可明确评价的中间节点上，并通过协同进化解决奖励模型衰减——这是其他工作目前都没系统覆盖的组合。在更广的过程奖励家族里，PRM（Process Reward Model）路线做数学推理逐步打分已成熟，EAPO 等于把 PRM 思路平移到长文本证据提取这个新阵地，并配上自我进化的反馈环。
局限与开放问题
几条限制需要明确放在前面。
其一，EAPO 的证据奖励依赖一个独立的奖励模型对证据组合做 1–5 分打分，奖励模型本身的偏差和训练成本是新的开销，论文没有给出 RM 训练数据规模和质量边界的全量披露。
其二，4 步结构化工作流提升了可监督性，但同时给推理过程加了显式格式约束，对一些不需要严格证据外显的开放生成场景可能反而过度约束输出形态。
其三，协同进化机制依赖"高置信度 + 答案完全正确"的轨迹回流给 RM，意味着早期策略模型如果本身能力较弱，喂回去的高质量轨迹数量会非常有限，冷启动阶段的飞轮转速是开放问题。
其四，所有评测目前集中在长文本理解和多跳推理类基准，对纯生成式长文本（比如长篇小说续写、长报告撰写）的迁移效果论文没有覆盖。
其五，30B-Thinking 反超 120B 模型的对照基础是这些大模型未在相同任务做对应的 RL 后训练，公平性需要看后续社区复现；EAPO 在更大基座（如 Qwen3-235B）上的边际增益是否会衰减仍待验证。
其六，证据提取的"原文锚定"假设默认问题答案在上下文里有显式可引用的来源，对于需要跨段落推断或综合多处隐式信息才能回答的问题，证据奖励的定义可能需要进一步细化。
实操选型建议
对做长文本 Agent、Search Agent、RAG 后端的团队，EAPO 的方法论比模型权重本身更值得抄作业。首先，4 步证据增强推理范式可以脱离 RL 单独使用，作为推理时的 prompt 结构改造，对任何已有大模型做长文本任务都能立刻拿到一部分可解释性收益和性能提升。
其次，过程奖励 + 协同进化这套 RL 流程对算力门槛比纯 SFT 高，建议在已有结果奖励 RL 基础设施的团队做增量集成，从零搭建成本不低；规模上 8B–30B 是这套方法当前验证过的甜点区，再往下可能受证据生成质量制约，再往上需要更精细的 RM 设计。
第三，对于以 RAG 为主、不愿做 RL 后训练的团队，可以参考 EAPO 的奖励模型设计——把它单独抽出来作为"证据质量打分器"做 inference-time best-of-N 选择，工程成本远低于完整 RL，效果在长文本场景往往能立刻看到。
第四，做长文本评测的团队值得把"证据错误率 / 推理错误率"分开统计纳入常规口径，仅看 EM 或 F1 会掩盖大量"蒙对"案例，这条评估方法论的迁移价值可能比模型本身更长尾。
最后，长文本 RL 这条路线 2026 年还会快速迭代，EAPO 之外可同步关注 LoongRL（ICLR 2026）、QwenLong-L1 等并行路线的更新——它们各自补的是稳定性、数据合成、证据监督的不同位置，组合使用空间很大。
整体看，EAPO 的真正价值不在某个 benchmark 的排名数字，而在"奖励信号该打在哪里"这件事上提供了一个被严谨验证过的答案——长文本时代，纯结果奖励已经撑不住模型的进化空间，过程奖励必须找到那个可明确评价的中间节点。证据，就是这个节点。
AI 速览
