来源：MAD Podcast（Matt Turk 主持）| 嘉宾：Yann Dubois，OpenAI Post-training Frontiers 团队联合负责人
本文基于播客原始内容整理、翻译与深度解读。Yann Dubois 团队直接负责 o3、GPT-5 Thinking、GPT-5.5 等推理模型的后训练工作。
2026 年4月23日，OpenAI 发布 GPT-5.5（代号「Spud」），被官方称为「有史以来最智能且最直觉化的模型」。发布不到两周，GPT-5.5 背后的核心技术负责人 Yann Dubois 接受了投资人 Matt Turk 的深度访谈，用近一小时拆解了一个核心问题：AI 为什么突然变得可用了？
这篇访谈的价值不在于产品发布本身，而在于 Yann 以一线研究者视角，系统性地揭示了从 o1 到 GPT-5.5 之间发生了什么变化——强化学习怎样从数学竞赛扩展到混乱的真实场景，模型效率如何实现 2 倍跃升，以及为什么「持续学习」在 ChatGPT 诞生三年后仍然是 AI 最大的未解之谜。
以下是访谈核心内容的结构化深度解读。
一、为什么 AI 进步突然像阶跃函数？三个底层原因
很多开发者在过去几个月有一个共同感受：AI 工具突然从「勉强能用」变成「真的能用」。Yann 给出了三个递进层次的解释。
第一层：可靠性跨过了临界阈值。 模型能力其实一直在平滑进步，但只有可靠性积累到一定水平，工具才真正变得可用。Yann 认为 OpenAI 在 2025 年 12 月前后跨过了这道线。在此之前，模型虽然偶尔能写出惊人的代码，但你无法信任它独立完成一个完整任务。跨过阈值之后，「信任」变成了可能，体验上就表现为阶跃式的跳变。
用 Yann 的话说，可以把 Agent 模型想象成每两分钟有一定概率犯错。运行时间越长，最终答案出错的概率越高。他们团队一直在做的事情就是降低这个「每两分钟犯错」的概率。当这个概率降到足够低的时候，整个使用体验会发生质变。
第二层：自我加速效应。 当模型本身足够好之后，它开始加速研究团队自身的工作——不仅用于训练下一代模型，也用于搭建研究所需的工具和基础设施。这个正反馈循环让过去几个月的进度越来越快。这不是理论推测，而是 OpenAI 内部已经在经历的事实。
第三层：强化学习从可验证奖励扩展到真实场景。 这是技术层面最关键的变化。o1、o3 时代，推理模型主要针对「可验证奖励」场景优化——数学题、编程竞赛、有标准答案的问题。到了 GPT-5.5，团队成功地将这些方法泛化到了真实世界的混乱场景中。
用 Yann 的原话概括：「我们从竞赛走向了对用户真正有用的东西，这就是我们现在正在感受到的变化。」
二、GPT-5.5 是怎么炼成的：效率、组织与「情绪过山车」
2 倍效率跃升的技术原理
Yann 说他对 GPT-5.5 最骄傲的两件事之一，就是模型效率。大多数任务的执行速度相比之前提升了约 2 倍。
要理解这个「效率」，需要看一张核心坐标图：X 轴是推理时消耗的 token 数（或延迟），Y 轴是任务表现。 这就是所谓的「测试时缩放曲线」（test-time scaling curve）。
研究团队的目标是把这条曲线向左移动——用更少的 token 达到相同甚至更好的效果。推理侧（inference）的工作则是把 X 轴从 token 数切换成实际延迟。当两者同时优化并汇聚在一起时，就是 GPT-5.5 实现的突破。
Yann 用了一个很好的类比来解释效率提升的机制：想象一个领域专家和一个刚入行的本科生面对同一个问题。本科生可能需要一两天，要探索很多条路径；而专家通常直接知道该走哪个方向，不会在错误方向上浪费时间。GPT-5.5 的效率提升本质上就是这样——通过在更多真实问题上做强化学习训练，模型学会了以更高概率选择正确的推理路径。
同时，模型还能被训练去识别自己正在走弯路，并及时回撤。训练越充分的模型，越早发现错误路径。
GPT-5.5 Thinking 与 GPT-5.5 Pro 的区别
两者的区别本质上就是灌入多少测试时计算量。Pro 版本投入更多计算，让模型思考更长时间，从而获得更高的正确率。但这里有一个关键的边际递减效应：缩放曲线接近对数形状，投入两倍计算量可能只带来很小的性能提升。
Yann 本人坦言不太用 Pro，因为他不喜欢等——但学术研究者特别是数学家很喜欢 Pro，因为他们可以让模型在后台运行一两个小时而无需快速迭代。
每一代 Pro 模型也在变得更高效——同样的效率曲线也在持续左移。所以不是「要么快要么好」的取舍，而是两者在同时进步。
OpenAI 内部的垂直+水平团队架构
Yann 的团队在内部扮演的角色非常独特：它是一个「水平层」团队，负责三件事情。
首先，决定哪些改进可以进入最终的大规模训练。各个垂直团队（Agent 编码、计算机使用、知识工作等）各自推进自己领域的优化，而 Yann 的团队做出筛选决策，并提供能代表最终运行效果的科学实验框架。
其次，执行最终的大规模训练。这涉及大量 GPU 的基础设施工作，以及确保各种改进在合并后能协同运作的 ML 工程。
第三，推进跨领域的水平能力提升，比如指令跟随（instruction following）、函数调用（function calling）、思考时间分配策略（模型在不同问题上应该思考多久）、记忆机制等。
这种垂直+水平的组织结构意味着：某一代模型可能只有一半的垂直团队贡献了改进，而下一代模型则轮到另一半。正是这种并行推进、交替集成的节奏让模型的进步持续不断。
发布前的情绪过山车
Yann 对 GPT-5.5 的发布过程有一个坦诚的描述：每个看起来不错的模型，内部都会经历一轮「炒作-质疑-再炒作」的波动。GPT-5.5 的波动幅度特别大——先是极度兴奋，然后各种问题暴露出来导致热情降温，最终发布后外部反响很好。他说「取决于我们在这个情绪波动的哪个阶段发布模型，内部的感受也完全不同」。
三、预训练→中间训练→后训练：现代 AI 模型的三阶段全解
预训练：图书馆里的所有书
Yann 喜欢用的比喻是：预训练就像进入一个拥有所有书籍的图书馆。理论上你能找到任何信息，但直接和一个读完这些书的专家对话，显然效率更高。
关于「预训练撞墙」的叙事，Yann 承认他两年前也这么认为。但事实证明并没有撞墙。他特别提到了 Anthropic 的模型——从推理成本来看，新模型明显是更大的模型（业界通常通过每 token 成本来判断模型规模），而它们的性能确实在持续提升。
在数据墙（data wall）问题上，Yann 的判断是：各家公司用不同的方式克服了互联网数据不够用的瓶颈，预训练扩展的路线仍然有效。
一个值得注意的观点是关于模型大小与效率的关系：更大的预训练模型实际上需要更少的推理 token。可以理解为模型在生成每个 token 时已经通过权重「思考」了更多内容。而且更大的模型在推理时更容易被并行化优化，所以「模型更大→token 更少→但模型更大所以更慢」的直觉是错的。综合来看，更大的模型反而带来了更好的端到端效率。
中间训练：高质量数据的过采样
中间训练是一个较少被讨论的阶段。预训练在所有互联网数据上训练，但大量内容并不有用（广告、低质量论坛等）。中间训练的核心思路是在更具代表性的高质量数据上进行过度训练（overtrain），比如 Wikipedia、GitHub 等信息密度更高的内容。
Yann 强调这已经是开源社区和学术界的标准做法。
后训练：从「知道一切」到「对人有用」
后训练是整个访谈的技术重心。Yann 将其分为三个关键阶段。
监督微调（SFT/行为克隆）。 让人类标注者提供标准答案，模型学习模仿人类的行为。早期的后训练模型（如 Yann 自己参与的 Stanford Alpaca）主要依赖这种方法。优势是简单直接；局限是永远不能超越标注者的水平。
强化学习（可验证奖励）。 这就是 o1/o3 时代的核心方法。对于数学和编程竞赛类问题，答案对错非常容易判断（二值奖励），模型可以大量采样后只强化正确的行为。
强化学习（不可验证奖励）。 这是当前前沿。在真实世界中，你往往不知道完美答案是什么，只能做成对比较（这个回答比那个好），或者给出模糊的质量信号。GPT-5.5 的突破很大程度上来自将强化学习扩展到了这类场景。
Yann 特别提到了一个关键细节：强化学习的工作方式是从模型大量采样，然后说「做更多正确的那个」。这意味着模型必须先偶然「撞上」正确答案。所以实践中总是先用 SFT 把模型推到一个足够好的起点，再用强化学习做超越人类的提升。
四、强化学习为什么今天能 Work：规模、简洁与一个反直觉的转折
从「没人相信」到「核心引擎」
Yann 坦诚地分享了他的心路历程：两年前，他和大多数非 RL 背景的研究者一样，认为强化学习太不稳定、太难用。当他看到 ChatGPT 发布并提到使用了 RL 时，他的第一反应是「我可以不用 RL 做到同样的事」——这正是他做 Stanford Alpaca 项目的初衷。
他还提到 Yann LeCun 著名的比喻：「强化学习只是蛋糕上的樱桃。」这在当时是学界的主流直觉。
但转折点出现在模型规模跨过某个临界值之后——当预训练模型已经拥有了足够好的「世界先验知识」时，强化学习突然开始有效。这个现象不仅在 LLM 领域发生，在机器人领域也正在出现类似的拐点。
GRPO 的胜出：最简单的方法赢了
在开源社区，算法格局已经从 PPO、DPO 等多种方法收敛到了 GRPO。Yann 认为这符合机器学习的一个反复验证的规律：能在计算量上规模化扩展的最简单方法，最终往往是效果最好的方法。GRPO 的核心逻辑很朴素——大量采样，判断哪个对，强化正确的。没有复杂的策略，就是暴力搜索+简单选择。
当前的技术挑战
Yann 指出了两个核心难题。
基础设施瓶颈。 强化学习需要大量采样，这在计算上非常昂贵，必须在大规模下完成。
长序列的归因问题。 这是更深层的 ML 挑战。在 Agent 场景下，模型可能需要很长的推理链才能到达最终结果，而你只在结尾知道对不对。哪一步推理真正导致了正确（或错误）结果？这种「信用分配」（credit assignment）问题在 Agent 式强化学习中格外严重。理想状态是能精确地告诉模型「这一步做得好，多做这样的」，但实际上你只有在长长的推理完成后才知道最终是否正确。
五、泛化的真相：模型到底在学什么？
能力级别的泛化，不是领域级别的
访谈中最有洞察力的观点之一是关于泛化的讨论。Yann 的核心判断是：模型的泛化发生在能力层面而非领域层面。
具体来说：如果一个模型在数学竞赛上表现出色，它在编程竞赛上也会不错——因为这两个领域需要的核心能力（形式化推理、精确执行）相似。反过来，如果一个模型在某一个领域表现差，它通常在所有领域都差在同一个维度上。
幻觉就是一个典型例子：如果模型不善于说「我不知道」，这个问题会出现在所有领域。你不会看到模型在某个领域校准精准，在另一个领域则疯狂幻觉。
但「聪明」≠「能处理混乱」
Yann 用了一个精妙的对比：数学和编程竞赛的题目是「极度明确指定」的（extremely well specified），所有你需要的信息都在题目的五行或十五行文字里。而真实世界中，一个金融分析师在做任何推理之前，首先要去网上搜集信息、提取数据、理解上下文——这些「预推理」阶段的能力完全是另一个维度。
这就是为什么一个在竞赛中碾压人类的模型，面对一封含糊的邮件或一份混乱的电子表格时却可能手足无措。
显式指令跟随 vs 隐式指令跟随的矛盾
Yann 还揭示了一个有趣的「负迁移」案例。如果你把模型的显式指令跟随能力训练到极致，它就会精确执行你说的每一个字——包括你的拼写错误。你说「修改这个文件」但打错了文件名，一个显式指令跟随极强的模型会真的去修改那个不存在的（或错误的）文件，而人类同事通常会意识到你打了错字。
这种显式与隐式指令跟随之间的张力，是不同水平能力之间可能产生冲突的真实案例。
六、幻觉的根源：SFT 是原罪，RL 是解药
访谈中关于幻觉的讨论非常有价值。Yann 引用了 John Schulman 的经典演讲来说明这个问题。
SFT 为什么会制造幻觉？ 假设模型不知道某篇论文的存在，但标注者在标准答案中引用了这篇论文作为来源。SFT 会强制模型学习「在回答中引用某篇论文」这个行为——但模型并不知道这篇论文是什么。最终模型学会的是「自信地引用不存在的东西」。
RL 为什么能治愈幻觉？ 因为 RL 的工作方式是让模型先自己采样，然后只强化正确的行为。一个模型几乎不可能在采样时随机编造一个不存在的东西，然后恰好是对的。所以不正确的编造行为永远不会被奖励，这类行为会被逐步消除。
七、评估（Evals）：模型越强，评估越难
评估面临的三重困境
Yann 认为评估是当前 AI 发展中最被低估的瓶颈之一，面临三个递进的挑战。
任务开放性。 早期可以问模型「这段代码有什么 bug」，答案是确定的；现在你可能让模型「给我做一个网站」，正确答案有无数种。评估变成了一个本身需要智能才能完成的任务。
人类上限。 在越来越多的特定维度上，模型表现已经超过了大多数人类。能有效评估这些模型的人越来越少。
文化惯性。 大多数人想做的是「改进模型」，而不是「量化改进有多大」。Yann 说他加入 OpenAI 后第一个项目就主动选择做数据和评估，因为他知道没人愿意做但又极度重要。
Model-as-Judge：最重要的正反馈循环
更好的模型成为更好的老师，也成为更好的评估者。这个正反馈循环是 Yann 认为最关键的一环。但这里有一个微妙的困境：每次你建了一个好的评估集，它本质上也创造了新的训练数据来源。一旦模型通过相似数据训练后在该评估集上表现极好，这个评估集就迅速过时了。评估的保质期越来越短。
八、持续学习：ChatGPT 三年后仍未解决的大问题
这是整场访谈中 Yann 表现出最大意外和最强兴趣的话题。
他分享了一个朋友给他的思维模型：画一张图，X 轴是时间，Y 轴是模型提供给用户的效用。当前的 AI 模型在 T0（第一天部署）时的效用可能比大多数新员工都高——但之后这条线基本是平的。模型不会因为在一家公司工作了三个月就变得更懂这家公司。
而人类的曲线恰好相反：起点低，但学习速度快。真正重要的是曲线下的面积（积分），这也是为什么在很多场景下人类仍然更有用。
Yann 坦言，三年前 ChatGPT 发布时，他和朋友正在做创业项目，考虑做持续学习和个性化记忆方向。他们当时的判断是：「OpenAI 掌握所有用户数据，半年内就会搞定这个问题。」三年过去了，问题仍然没有解决。
被问到为什么这么难时，Yann 说了一句很诚实的话：「说实话，我也不完全清楚为什么我们花了这么长时间还没搞定。至少从我能讨论的层面来看，单个用户的持续学习问题应该是可解的。」
九、Harness 会被模型吃掉吗？给创业者的判断框架
这可能是对 AI 应用层创业者最重要的一段讨论。
Yann 的核心判断是：通用 Harness 没有长期价值，垂直 Harness 有巨大的短期价值。
他的逻辑是：如果你在做一个面向特定行业的产品，Harness 可以把模型从 80% 可靠性推到 85%，这完全有意义。但你必须清楚这个 Harness 未来需要重新调整。试图构建一个能长期存续的通用 Harness 是行不通的——因为模型本身在快速进步，你无法预测最终需要什么样的编排层。
然后他给出了一个非常大胆的假设：如果冻结当前的模型水平不再进步，只靠优化 Harness，人们可能已经能在几乎每个领域感受到 AGI 级别的能力。这暗示当前模型的能力被严重低估，瓶颈不在智能本身。
关于「最后一公里」的机会，Yann 的态度非常明确：大量空间仍然存在。瓶颈往往不是原始智能，而是权限管理、数据连接、行业特有的集成需求。OpenAI 会专注在通用水平能力的提升上，垂直领域留给了创业公司。
他说：「除非我们哪天停止在水平方向上进步——我认为这不会很快发生——否则我们不会去做那些事情。」
从这场访谈中读到的信号
这不仅仅是一场关于 GPT-5.5 的产品访谈。从 Yann Dubois 的表述中可以提取出几个值得持续关注的趋势信号。
强化学习的范式已经确立。 从 o1 的概念验证到 GPT-5.5 的大规模生产应用，RL 在后训练中的角色已经不可逆转。开源社区收敛到 GRPO，大厂内部则在此基础上做进一步的针对性优化。未来每一代模型的核心差异化都将发生在这一环。
预训练没有到达天花板。 这是一个重要的纠偏。2024 年的「scaling law 撞墙」叙事被证伪。无论是 OpenAI 还是 Anthropic，都在通过更大的模型获得显著的性能提升和效率优化。
持续学习是下一个战场。 如果谁能先让模型真正「在工作中成长」，就能在企业 AI 市场获得巨大优势。Yann 的意外表态说明这不是一个简单的工程问题，而是一个尚未找到正确方法论的研究问题。
「最后一公里」的机会窗口真实存在但有时限。 OpenAI 的水平进步不会停，模型能力边界在持续扩张。今天的垂直 Harness 未来可能被模型原生吃掉。创业者需要在这个窗口期内快速建立行业壁垒——数据、客户关系、领域专家网络，而不仅仅是编排层的技术优势。
对于 AI 从业者和创业者来说，这场访谈最核心的 takeaway 也许是 Yann 一开头说的那句话：进步一直是连续的，但你需要等可靠性跨过阈值，才能真正感受到它。我们可能正站在多个领域即将跨过各自阈值的前夜。
AI 速览
