- OpenMLE 是衔远科技(Frontis AI)开放研究系列 OpenRSI 的首个项目,让进化智能体通过可执行反馈自动改进机器学习解决方案
- 三大组件:OpenMLE-Gym(5,758 个可执行任务与评估器)、OpenMLE-ERL(执行反馈驱动的 SFT+RL 后训练)、OpenMLE-Evo(经验引导的长时程搜索)
- Frontis-MA1-35B 配合 OpenMLE-Evo-Max 在 MLE-Bench Lite 上 Medal Average 71.21%,超过 GPT-5.5+Codex 的 68.18%,距 GPT-5.6 Sol 与 2.8T Kimi K3 同档的 72.73% 差 1.52 个百分点
- 计算预算为每任务 12 小时、单张 RTX 4090、显存上限 12GB,成绩是 3 次运行平均的系统级结果,非官方榜单登记
- 10 个 held-out NatureBench Lite 任务验证迁移:同一框架换模型 Match-SOTA 从 50% 升到 70%,同一基座换框架从 20% 升到 50%
- 后训练把 Medal Average 从 39.39% 提到 60.61%(+21.22 个百分点);代码、权重与数据公开,许可证为 CC BY-NC 4.0(非商业)
OpenMLE 是什么:输入任务,输出可执行方案的自动科研系统
OpenMLE 是一条"输入机器学习任务、输出可执行解决方案"的完整流水线。给它一道 Kaggle 竞赛级别的题,它会自动完成读题、设计模型方案、写训练代码、跑实验、看分数、根据失败修改方案、再迭代的闭环,全程不需要人逐行干预。它属于 AI4AI(AI for AI)方向:不是让 AI 生成一篇关于怎么做实验的文章,而是让 AI 真的把实验做完。
这个系统由三部分组成。OpenMLE-Gym 提供任务和裁判,包含 5,758 个可执行任务与配套评估器,来源不含 MLE-Bench,训练实际使用的质量门控子集为 2,240 个;OpenMLE-ERL 负责后训练,把"会写方案"的模型训练成"能从执行结果学习"的模型;OpenMLE-Evo 负责长时程搜索,在几十轮试错中找最优解。整个搜索过程由 Draft、Improve、Debug、Crossover 四个原子操作组成,对应写初稿、改进、修 bug 和交叉融合四条路径。
两项核心技术:执行反馈后训练与经验引导搜索
第一项是 OpenMLE-ERL 的执行反馈后训练。传统指令微调教模型模仿正确答案的文本,但研究的真实能力来自执行信号:方案跑挂了、跑了但分数低、换了超参数分数变了,这些结果数据很少进入训练。OpenMLE-ERL 用 26,259 条经过执行验证的样本做全参 SFT,再用 GSPO 在线强化学习进一步优化,训练数据已经对全部评测基准去重。直观理解是教练只看实弹成绩,不只看动作标不标准:模型在 8 张 H200 上微调 3 个 epoch 后,同一评测口径下 Medal Average 从 39.39% 升到 60.61%,提升 21.22 个百分点,30B 版本同样从 34.85% 升到 53.03%。
第二项是 OpenMLE-Evo 的经验引导长时程搜索。长时程搜索的常见问题是陷入局部最优、在重复路径上浪费算力。OpenMLE-Evo 让每次执行都沉淀一张经验卡记录失败教训,选择下一轮方案时用 score、gain、novelty 三因子打分,并保留快速改进和不同路径的分支避免早熟。与基线的 Meta AIRA-Evo 相比,66 个任务配对统计中,总 token 消耗从 129.3M 降到 75.3M(下降 41.7%),评估节点减少 12.4%,每百万 token 产生的新的最优更新次数提升 84.3%。
成绩单:71.21% 是系统级成绩,含迁移验证
评测主战场是 MLE-Bench Lite,即 OpenAI MLE-Bench(由 75 个 Kaggle 竞赛构成)中 Low complexity 档的 22 个竞赛。训练完成的 Frontis-MA1-35B(基于 Qwen3.6-35B-A3B 后训练)单独评测为 60.61%,叠加 OpenMLE-Evo-Max 搜索框架后达到 71.21%,超过 GPT-5.5 加 Codex 组合的 68.18%,距离 GPT-5.6 Sol 与 2.8T Kimi K3 同档的 72.73% 只差 1.52 个百分点。需要强调的是,这是"模型加搜索框架"的系统级成绩:模型卡与论文摘要都写明,分数度量的是模型与框架组成的系统,不是单次单模型生成,3 次运行取平均,且是发布方自测,未登记进 MLE-Bench 官方排行榜(官方榜单 Low 档当前最高为 80.3%,算力口径不同)。
迁移能力在 10 个 held-out 的 NatureBench Lite 任务上做了交叉验证:固定 OpenMLE-Evo 框架、把基座模型换成后训练的 MA1-35B,Match-SOTA 从 50% 升到 70%;固定基座模型、把搜索框架从原版 AIRA-Evo 换成 OpenMLE-Evo,Match-SOTA 从 20% 升到 50%,Surpass-SOTA 从 10% 升到 30%。两组对照说明后训练和搜索框架各自都有贡献,不是同一份功劳重复计算。
适用场景与效果边界
OpenMLE 适合三类人:做自动科研与 agent 研究的开发者,可以拿到完整可复现的基线;关注递归自我改进(RSI)的研究者,论文数据已对基准去重,评估污染风险低;算力有限的个人与团队,每任务 12 小时、单张 RTX 4090、12GB 显存的预算在同级系统里很低,官方报告覆盖图像、文本、表格、音频、多模态五种模态。
边界需要如实说明。目前没有独立第三方复现过 71.21%,项目发布仅一天,媒体与社区评测都还没有跟上;成绩是自测口径,不能当作官方榜单或第三方测评引用;许可证是 CC BY-NC 4.0,README 明确商业使用不获授权,商用前需要与衔远科技确认;5,758 个任务的口径是数据集中 4,343 条重建配方加 1,415 条即用包,且不含 MLE-Bench,与训练子集 2,240 不是一回事;论文 HTML 版尚未上线,实现细节以 GitHub 仓库与项目页为准。
快速上手:资源与部署提示
项目代码在 GitHub 的 FrontisAI/openrsi 仓库,模型权重和数据在 Hugging Face 的 FrontisAI/frontis-ma1 集合,包含 Frontis-MA1-35B、30B 及两者的 GGUF 量化版,另有 OpenMLE-SFT-Traces 与 OpenMLE-Tasks 两个数据集;论文见 arXiv 2607.28568,项目页 frontisai.github.io/OpenRSI 有三组件的完整说明。仓库按 OpenMLE-Gym、OpenMLE-ERL、OpenMLE-Evo 三个目录组织,搜索框架内嵌了第三方 AIRA-Dojo 运行时,评测适配器在 OpenMLE-Evo 的 benchmarks 目录下。
上手提示:基座是 Qwen3.6-35B-A3B 的 MoE 架构,激活参数约 3B,显存紧张的机器建议先用 GGUF 量化版体验推理;想复现评测需先读仓库的 docs 目录,results.md 记录了全部数字口径,release.md 与 training.md 分别说明版本与训练细节;动手前务必先确认许可证条款,CC BY-NC 4.0 限制商业用途,第三方组件各自遵守 NOTICE 文件。
在 RSI 生态中的定位:衔远科技的第一块开源拼图
OpenMLE 是衔远科技(Frontis AI)开放研究系列 OpenRSI 的首个项目。衔远由周伯文创立,他是前京东 AI 研究院负责人、现任清华大学教授与上海人工智能实验室主任,公司官网定位企业 AI 原生组织平台;论文 24 位作者中,一作 Junlin Yang 是清华大学一年级博士生,导师为 Ning Ding 与 Bowen Zhou(周伯文),通讯列位者为 Kaiyan Zhang。把 OpenMLE 放进生态看,它与 OpenAI 的 MLE-Bench(评测基准)、Meta FAIR 的 AIRA-Dojo(搜索运行时基线)形成"评测、基线、新系统"三层关系,NatureBench 则是同一团队 2026 年 6 月发布的 90 任务科学评测集,OpenMLE 的迁移验证用的就是它的 Lite 子集。
这个开源动作的战略意义在于把 RSI(递归自我改进)从概念讨论变成可执行、可度量、可复现的工程问题,同时与衔远的企业产品线形成开源研究、商业落地的双线布局。对想跟进自动科研方向的团队,OpenMLE 是目前少数同时公开权重、训练数据与完整评测管线的全栈参照系,后续版本的改进会直接落在同一套可复现口径上。