- GRPO 在长程 Agent 任务的异步训练中面临根本性瓶颈：每个 prompt 需要多组 rollout，但 Agent 任务的轨迹长度方差极大（从几十到十几万 token），必须等最慢的 rollout 完成才能更新，导致 GPU 闲置、策略陈旧，约 160 步后训练崩溃
- 清华和 Z.AI 提出 SAO（Single-rollout Asynchronous Optimization，单步展开异步优化），每完成一条轨迹立即更新模型，彻底消除批次同步等待
- 核心技术包括：引入价值模型（Critic）替代 GRPO 的组均值基线、严格双侧 token 级裁剪控制 off-policy 漂移、跳跃式 GAE（跳过环境观测 token，只对模型生成 token 做优势估计）
- SWE-Bench Verified 从 23.0% 提升至 29.8%，AIME2025 从 84.2% 提升至 97.3%，BeyondAIME 达到 74.8%
- SAO 能稳定训练超过 1000 步（GRPO 变体约 160 步崩溃），已成功部署在开源 GLM-5.2（750B-A40B）的训练管线中
Agent 异步 RL 的痛点：GRPO 在长轨迹面前撑不住
强化学习正成为大语言模型后训练的重要手段。GRPO（Group Relative Policy Optimization）是目前最流行的方法之一——对每个 prompt 生成一组 rollout，用组平均得分做基线，不需要价值模型，训练显存友好。DeepSeek 和 Qwen 系列模型都用了它，效果很好。 但这个方法在长程 Agent 任务上遇到了根本性麻烦。
Agent 任务的轨迹长度方差极大。一个简单的代码补全可能只要几十个 token，而一个涉及多轮工具调用、调试循环和日志分析的 Agent 任务可能长达数万甚至十几万 token。GRPO 要求每组 rollout 全部完成后才能更新策略——训练器必须等待最慢的那条轨迹。更糟的是，等待过程中策略还在不断更新，等到 rollout 真正交付时，生成它的策略已经变了，数据变得严重 off-policy。
结果很直接：异步 GRPO 在 Agent 任务上大约在 160 步后训练就开始崩溃，无法继续有效学习。
SAO：卸掉批次包袱，每一条轨迹都是更新信号
SAO 的思路很干脆——不要批次了，每完成一条 rollout 就更新一次。这个想法本身不新（异步 RL 在游戏领域早就这么做），难的是在高维语言模型空间里把它做稳。
GRPO 不需要价值模型，SAO 需要。它用一个新的 Critic 模型代替组的均值来做基线。论文做了三件事让这个 Critic 在异步场景中稳定工作：
第一，严格双侧 token 级裁剪。当当前策略与 rollout 实际生成时使用的策略差距过大时（重要性采样比超出阈值），不是像 PPO 那样软性裁剪，而是直接把该 token 的梯度屏蔽掉——彻底阻止过时数据参与更新。第二，冻结 Critic 的注意力层，只训练 MoE 投影层。作者发现注意力层的梯度在长时间异步训练中容易爆炸，冻结后稳定性显著提升，且不影响表达力。第三，Critic 更新频率是策略的两倍，让它能更快追上策略的变化。
另一个关键技术是跳跃式 GAE（广义优势估计）。Agent 轨迹中穿插了大量环境观测 token（工具调用的返回值、终端输出等），这些 token 不是模型生成的，但在标准 GAE 计算中，价值估计会穿过这些 token 传播。SAO 的做法是：跳过观测 token，直接将上一步模型输出的最后一个连接到下一步模型输出的第一个，只对模型真正生成的 token 计算优势估计。这大幅降低了噪声。
SWE-Bench 提升 6.8 个百分点，AIME 逼近 97.3%
实验在 Qwen3-30B-A3B 基座上执行，配以部分数学轨迹的 SFT 蒸馏。SAO 与 GRPO 及其变体在多项基准上做了系统对比。
在 Agent 编程基准 SWE-Bench Verified 上，SAO 将 pass@1 从 23.0% 提升到了 29.8%，增幅 6.8 个百分点。在数学推理上，AIME2025 从 84.2% 提升至 97.3%，增幅超过 13 个百分点。BeyondAIME 达到 74.8%。在需要模型响应变化的偏好迁移测试中，SAO 因为 Critic 能快速适应新奖励分布，收敛速度也显著快于 GRPO。
更关键的数据是训练稳定性。SAO 在超过 1000 步的异步训练中保持稳定，GRPO 变体在约 160 步时开始发散。这项能力让 SAO 被部署在了 GLM-5.2（750B-A40B）的完整训练管线中——这不是一次性实验，而是一个生产级规模的验证。
意义与局限
SAO 的真正贡献不是发明了一个全新的 RL 算法，而是证明了在 LLM 后训练场景下，经典 PPO 风格的 Critic 加上现代工程手段，可以比纯 on-policy 的组采样方法更适合异步 Agent 训练。它回答了一个行业内悬而未决的问题：当 Agent 任务越来越长、轨迹越来越复杂时，GRPO 的组同步瓶颈有没有替代路径。
局限也很清楚。SAO 需要训练和维护一个额外的价值模型，显存和算力开销比 GRPO 更大。对于短轨迹、低方差的标准数学或代码问题，GRPO 仍然高效且足够，SAO 的优势主要体现在长程、高方差的 Agent 场景。此外，Critic 的设计（冻结注意力、跳帧 GAE）针对的是论文验证过的场景，迁移到其他架构（如纯 Dense 模型、多模态模型）时是否需要调整需要进一步实验。最后，SAO 目前只有论文验证，开源的训练代码和复现细节是社区落地前的关键。
作者、代码与资源
论文由清华大学和 Z.AI 的 Zhenyu Hou、Yujiang Li、Jie Tang、Yuxiao Dong 共同完成。对于做 Agent RL 训练的研究者和工程师来说，SAO 的价值在于提供了一个经过生产验证的 GRPO 替代方案——如果你的 Agent 训练管线在 200 步以内就开始不稳定，SAO 的稳定性机制值得优先尝试。
本文基于 arXiv 2607.07508 论文及社区讨论撰写。论文地址：arxiv.org/abs/2607.07508
AI 速览
