腾讯混元团队 2026年9月3日 提交论文《Environment Evolution for Terminal Agents》(arXiv:2609.04128),提出"环境演化"方法:以离策略(off-policy)方式让终端任务环境逐代变难,按代际调度供强化学习持续使用,解决智能体变强后训练环境"不够难、信号枯竭"的问题。在 Qwen3.6-27B 与 Qwen3.6-35B-A3B 两个智能体上训练后,Terminal-Bench 2.1 峰值成绩达到 71.5% 与 64.9%,分别高于协同进化基线 8.6 和 9.8 个百分点。
为什么终端智能体的强化学习缺环境
终端智能体(terminal agent)指在真实命令行环境里执行多步操作的智能体:读代码、跑命令、改配置、验证结果。这类智能体的强化学习依赖可验证环境——任务有明确的完成判据,奖励信号才可靠。
问题随模型能力增长而来。论文指出,前沿模型变强后,从零合成的新环境对它们来说太简单,难度上不去,学习信号随之衰减。现有的一条路线是智能体—环境协同进化:让环境跟着当前策略的弱点生成。但这条路依赖在策略(on-policy)rollout,环境只针对"现在的智能体"设计,泛化受限,信号供给也不可持续。
环境演化的思路是换一种供给方式:离策略地提前制造一整条"难度递增的环境谱系",让智能体在接下来很长一段训练里都有够难的任务可练。
环境演化怎么做:三个进化方向、三个角色、三道验证
难度被拆成三个进化方向
论文从多轮学习目标出发,把任务难度分解为求解轮数、场景新颖度、技能稀有度三部分,对应三个可操作的进化方向:
- 加长(length):在期望执行序列中插入新的场景—技能对,拉长依赖链;
- 换场景(scenario):替换场景、保留配对的技能;
三角色流水线生成环境
进化由一个多智能体框架执行:Proposer 从现有环境抽取场景—技能序列、按指定方向生成进化计划;Reviewer 依据评分规则(rubric)审查计划,通过或判定该方向失败;Modifier 生成残差修改并应用到环境。一个 effort 参数控制编辑幅度,分 low/high/max 三档。
每个环境必须过三道验证
进化出的候选环境要并行通过三道检查才能进入谱系:Oracle 验证(参考解必须在沙箱中成功)、Invalid-test 验证(空解或无操作解必须失败,防"假任务")、rubric 质量检查。开发阶段另有人工审查,发现的问题会被转成新的 rubric 规则。
实验与结果:500 个种子环境,峰值 71.5%
数据漏斗相当陡:团队收集了 47,678 个非基准终端环境,严格过滤后仅剩 127 个——通过率不足 0.3%,可验证环境的稀缺可见一斑;再经 SkillSynth 补充、按域均匀采样,最终得到 500 个种子环境,每个种子生成 15 代进化谱系。
训练对象是 Qwen3.6-27B 与 Qwen3.6-35B-A3B 两个智能体,GRPO 算法训练 200 步,RFT 从第 0 步同步开始。环境难度评估用了三个前沿模型:腾讯混元自家的 Hy4 preview,以及 Claude Opus 5 和 GPT-5.6 Sol(high effort、1M 上下文)。 Terminal-Bench 2.1 峰值成绩对比如下:
摘要口径下,两个智能体较训练前分别提升 14.4 和 18.0 个百分点。一个佐证任务变难的信号:训练中智能体的 tokens/turn 从约 951 升至 1,221——单轮要处理的内容变多了。
局限与值得注意的细节
外部基准只有 Terminal-Bench 2.1 一个,方法在其余终端基准上的表现论文未报告,泛化证据面偏窄。另外两个细节对从业者和复现者有用:
其一,被训练的智能体是 Qwen3.6,混元自家的 Hy4 preview 只承担难度评估——方法与模型家族是解耦的,不绑定混元模型,复现门槛主要在环境漏斗而非模型。其二,47,678 到 127 的过滤说明"可验证"仍是终端环境供给的真正瓶颈,环境演化解决的是"变难",不解决"从哪来"。
常见问题
环境演化(Environment Evolution)是什么?
腾讯混元提出的终端智能体训练环境生成方法:以离策略方式让已验证的终端任务环境沿加长、换场景、换技能三个方向逐代进化,按代际调度供长视野强化学习持续使用。
它与智能体—环境协同进化有何区别?
协同进化依赖在策略 rollout,环境针对当前策略的弱点实时生成;环境演化离策略地预先构建难度递增的环境谱系,任务可复用、可调度,学习信号供给更持续。
论文用了哪些模型?
训练对象为 Qwen3.6-27B 和 Qwen3.6-35B-A3B;环境难度评估使用 Hy4 preview(腾讯混元)、Claude Opus 5 与 GPT-5.6 Sol。
代码开源了吗?
截至9月4日,未能从论文页面确认代码开源信息。