Mark Chen是OpenAI的首席研究官(CRO),2025年3月从SVP of Research升任现职,与首席科学家Jakub Pachocki共同管理OpenAI的全部研究工作。在此之前他是量化交易员,没有ML博士学位,却主导了DALL·E、Codex、GPT-4视觉和o1推理模型的研发。他近期在Latent Space播客的一次深度对话中,系统性地回应了"预训练已死""Scaling Law见顶"等行业热议,同时首次公开谈及OpenAI内部的算力分配机制、评测危机认知,以及"Vibe Research"这一新研究范式的3年路线图。
以下是这场对话中信息密度最高的5个判断及其背后逻辑。
预训练与Scaling Law:为什么唱衰者一直在犯错
"预训练已死"是过去两年AI圈最流行的叙事之一。Mark Chen对此的回应非常直接:Scaling Law已经跨越了近10个数量级,没有任何迹象表明它会停止。
他的论据分两层。第一层是历史归纳:在LLM的发展史上,每一次出现"无法再scale"的判断,最终都被更精细的研究工程、更好的数据工程、或某个新的研究insight所突破。这不是一次性事件,而是反复出现的模式。第二层是方法论:预训练负责给模型灌输世界知识,RL负责教模型用这些知识进行推理,对齐和后训练负责安全与可用性——这三条主线各自都有独立的scaling维度,并且可以交叉优化。他在Twitter上也表达过类似观点:两个范式(预训练+推理)意味着可以在两个轴上优化同一能力,而不是只有一个,这反而降低了成本。
值得注意的是,这个判断的强度:他不是说"预训练还有空间",而是说"相信指数函数和Scaling Law",将其作为一个近乎信仰级别的研究立场。这与Anthropic CEO Dario Amodei在多个场合表达的类似观点形成呼应,但与部分学术界和创业公司(如强调"后训练才是关键"的一派)存在明显分歧。
o1推理赛道:OpenAI内部最大的研究豪赌如何落地
o1是OpenAI在推理方向上的第一个公开成果,但Mark Chen透露,这个项目在内部并不是一帆风顺的。当时预训练+后训练的范式运转良好,公司内部自然有人质疑:既然现有机器在工作,为什么要做不同的事?
推动这个方向最终落地的关键人物是Jakub Pachocki和Ilya Sutskever。Chen用了"conviction and vision"来描述他们的作用——不是用数据说服所有人,而是凭研究直觉和信念去推动,即使在早期证据不充分的情况下。他还提到,即使在方向确定后,"took a lot of steering to get the whole company behind this",说明这不是一个轻松的组织决策。
这里暴露了一个大型AI实验室的核心张力:研究方向的选择既不能完全自上而下(会扼杀创新),也不能完全自下而上(会分散资源)。OpenAI的做法是混合式的——研究管理层进行"directive compute allocation"(指令式算力分配),将大块算力绑定到3-5个核心赌注上,同时给管理者保留灵活的算力池,允许他们自主分配或微调。
Mark Chen每隔一两个月会审查约300个研究项目的算力使用情况。这个频率和规模本身就说明问题:OpenAI的研究管理不是"放养天才",而是一个高度结构化的资源博弈。
评测危机:基准饱和与Benchmark Maxing的系统性困境
"Evals crisis"是Mark Chen在访谈中使用的原话。他描述的问题有两层。
第一层是Benchmark Maxing——通过在与基准高度相似的分布上过度训练,人为拉高分数而不改善真实泛化能力。他没有点名任何公司,但这个现象在行业内早已是公开秘密。
第二层更根本:现有的金标准基准(SAT、IMO、各类编程竞赛)已经被模型全面饱和,而新的高质量评测严重不足。他用了一个很直觉的表述——"once an eval is out in the world, it's already not a good eval"(一个评测一旦公开,它就已经不是好评测了)。
OpenAI的应对策略包括三个方面:一是将评测团队与模型优化团队分离,制造"内生对抗"——评测团队的目标是构建对模型来说很难的评测,这样两个团队的激励不会共谋。二是与外部组织合作开发评测,尤其在数学和硬科学领域。三是依赖部署反馈——通过Codex等产品的真实使用数据来观察模型在哪些任务和时间尺度上失败。
这与Google DeepMind在2025年IMO评分争议中暴露的问题一脉相承。当时OpenAI自行评分宣布达到金牌水平,而DeepMind等待了官方评委确认后才公布——两家给出了相同分数,但公信力完全不同。评测不仅是技术问题,也是信任问题。
Vibe Research与端到端AI研究的3年路线图
Mark Chen提出了一个值得关注的概念:Vibe Researching(类比Vibe Coding)。他描述的现状是,研究工作正快速转向"编排为主"(orchestration focused)——研究员负责提出想法,模型负责实现和执行。这不是未来愿景,而是"already happening at OpenAI and at other labs"。
更激进的判断在3年路线图上:OpenAI的目标是模型能做端到端研究,包括具备"research taste"——指向某个通用基准,模型自己找到正确的解决方案。他承认"it's going to be hard to teach the models good taste",但对实现这一目标持积极态度。
这个判断的隐含推论是:如果3年内模型可以自主做研究,那留给人类研究者提出"全新赌注"的窗口期非常短。他自己也说:"hopefully you feel like AGI is coming soon"——窗口是小的,但仍然有一些"fairly significant ideas"在尝试。
同时他对多模态架构给出了明确偏好:一个架构覆盖文本、图像、音频、视频,而不是多个专用架构。理由很实际——维护和scaling多个基础设施栈的成本不应被低估,核心研究的突破应该自动迁移到所有模态。
未充分展开的问题与局限
第一,Mark Chen对"continual learning是否是AGI的必要突破"没有给出明确判断。他说"there are clearly many shots on goal and I'm pretty sure it'll work",但没有说清楚"it"指的是哪个具体方向。这是一个典型的内部人回避模式——知道得太多,反而不愿公开表态。
第二,关于竞争格局,这场对话几乎没有提及Google DeepMind、Anthropic或Meta的具体技术路线。考虑到Meta在2025年中大规模挖角OpenAI研究员(Mark Chen本人发过内部Slack称"感觉有人闯入我们家偷了东西"),这种沉默本身就值得注意。
第三,"模型做端到端研究"的3年判断缺乏可验证的里程碑。不清楚OpenAI如何定义"端到端",也不清楚用什么评测来衡量模型是否具备了research taste。这恰恰回到了他自己指出的评测危机——如果你认为评测体系正在失灵,那你拿什么来证明自己的3年路线图正在兑现?