- Dianne Penn 2023 年加入 Anthropic 时产品团队只有 5 个工程师，现已成长为全球最快增长公司的研究产品负责人，经手了 Claude 2 到 Fable 全部模型
- 她团队的核心工作方式是「Evals 是新的 PRD」——用可复现的 eval 集替代传统产品文档，直接驱动模型训练改进
- Claude 编程能力有两个关键转折点：Opus 3 的首次差异化训练、Opus 4.5 与 Claude Code 的产品模型互相成就
- Anthropic Labs 以「小团队+零到一实验」模式孵化了 Claude Code、MCP、Skills、Claude Design 等核心产品
- 对 AI 时代的 PM 来说，「sweat the tokens as much as the pixels」——必须在细节上理解模型行为，不能只做战略规划
Dianne Penn 是谁——站在 AI 产品最前沿的人
Dianne Penn 是 Anthropic 研究与 Labs 团队的 Head of Product。2023 年她作为 Anthropic 首位技术产品经理加入时，整个产品团队只有 5 个工程师，API 业务仅有一位工程师支撑。三年间，她经手了从 Claude 2 到 Fable 的每一次模型发布，并亲手孵化了 Claude Code、MCP、Skills、计算机使用、工具使用和推理等核心能力。加盟 Anthropic 之前，她在 Amazon 参与了 Alexa 的 AI 建设，更早则在 JP Morgan 交易高收益债券，管理过数亿美元的交易组合。这条非典型路径让 Dianne 在产品管理上形成了独特的判断力：从交易员的「最好的想法胜过一切资历」到 AI 模型研发的「Evals 是新的 PRD」，她的底层逻辑始终是——用可验证的标准替代模糊的描述。
Evals 是新的 PRD——AI 产品管理的核心方法论
在传统产品管理中，PM 的核心产出是一份 PRD（产品需求文档）：描述问题、对齐方案、推动开发。Dianne 的团队在 Anthropic 内部开创了一个完全不同的范式——「Evals 是新的 PRD」。
她在访谈中详细拆解了这一方法论：当收到用户反馈「Claude 幻觉了」时，这句话对模型研究员完全不可操作。她的团队需要做的是：先深挖反馈背后的行为轨迹（用户授权的前提下），判断失败属于工具调用错误、知识检索错误还是对齐问题；然后构造 30-40 个典型失败样例，形成标准化的 eval 集；最后将 eval 加入模型的常态化测试管线，追踪每次版本更新是否解决了问题。
她举了一个早期案例：Claude 2 时代最常见的用户投诉之一是「不遵循指令」。团队深挖后发现 80% 的「不遵循指令」其实可以归因为 Claude 无法输出正确的 JSON 格式。团队构造了 JSON 格式 eval 集，加入训练循环后，如今这个 eval 的通过率稳定在 99.9% 以上。这个案例清晰地展示了 eval 驱动开发的核心优势：把模糊的用户不满转化为可测量、可追踪、可改进的具体问题。
但这不意味着 PRD 已死。Dianne 明确区分了两者的适用场景：Eval 适合定义和衡量用户痛点是否解决；PRD 仍然是大规模跨团队对齐方向的工具，尤其是在全新产品（如计算机使用功能）从零到一的阶段，产品愿景文档依然不可替代。
Claude 编程能力的两个转折点——从无人问津到行业标杆
「2023 年我加入时，没有人把 Anthropic、Claude 和编程放在同一个句子里。」这是 Dianne 对 Claude 编程能力起源的描述。她观察到开发者开始用模型写完整代码（而非只是 autocomplete）这一趋势后，推动将 Opus 3 的 coding 能力作为差异化训练方向——虽然这只是训练中一个相对较小的调整，但它让 Claude 在早期开发者群体中建立了最初的忠诚度。
第二个转折点是 Opus 4.5 与 Claude Code 的同时出现。Dianne 认为这两者实现了互相成就的正循环：「Opus 4.5 如果没有 Claude Code 这样的优秀产品体验，就不会有那个 moment；Claude Code 如果没有 Opus 4.5 加速，也不会有那么快的用户采纳。」她将此总结为一个核心判断：你需要前沿产品来承载前沿模型，也需要前沿模型来让前沿产品的魔法被用户感受到。
这个判断直接影响了 Anthropic Labs 的产品孵化策略——不在模型能力未到时强行推出产品，也不在产品体验未达标准时提前释放模型。
Token Maxxing——提前体验 2028 年的 AI 工作方式
YC 总裁 Garry Tan 提出的「Token Maxxing」概念在访谈中被 Dianne 赋予了更深层的产品视角：愿意每年花 10 万美元在 token 上的人，实际上是在体验 2028 年的日常。Dianne 的补充是——token 支出是输入，真正的产出是实验和发现。
她分享了 Anthropic 内部的做法：在公司还只有少量产品面时，全员在一个 Slack 频道里公开测试早期版本的 Claude。不同的人尝试不同的使用场景——有人改论文、有人写邮件——然后在 10 次左右的对话中，一个新的用法和场景可能就自然浮现了。这个「集体实验」模式比个人闭门摸索有效得多。
Dianne 强调：「你只有亲自使用模型，才能产生好的、更好的、伟大的想法。在技术变化如此之快的领域，不接触技术想出完美的策略几乎不可能。」这对产品经理尤其重要——她有一个著名的内部说法叫「sweat the tokens as much as the pixels」（像关注像素一样关注 token），意思是 AI 时代的 PM 必须在每个 token 的层面上理解模型的输出行为。
Anthropic Labs 的孵化哲学——强信念、弱原型、小团队
Claude Code、MCP、Skills、Claude Design——这些 Anthropic 最具影响力的产品都来自 Labs 团队。Dianne 揭示了 Labs 的孵化逻辑：「对方向有强烈信念，对具体原型保持弱绑定。」这种哲学允许 Labs 在 1-2 个模型迭代后重访之前搁置的想法，也允许一个工程师从零开始推动一个产品。
Labs 的成功关键在于留出了「失败空间」——很多赌注最终被关闭或暂停，但实验本身仍然产生了学习价值。Dianne 指出，这种零到一实验并不适合所有人：「你把心血投入一个赌注，但它还没跑通，这很难。」因此 Labs 挑选的是真正享受从零到一探索过程的产品人，而不是追求规模和确定性的经理。
Dianne 的论述框架值得关注的点
Dianne 的论述体系建立在「模型智能还在非线性跳跃」这一核心假设上。她引用了 Scaling Laws 论文中的 emergin capabilities 图形来佐证——模型的能力不是平滑增长的，而是以不连续的方式突然跳升。这一假设支撑了 Labs 的「先押注方向、再等能力就绪」策略，也解释了为什么她的团队同时运行短周期（当前模型改进）和长周期（1-2 代模型后的产品机会）两条产品管线。
需要注意的前提假设是：这种跳跃式增长是否可持续。如果模型能力的进步速度放缓（即在更多数据和算力投入后不再产生显著的 emergent capabilities），那么 Labs 的「等 1-2 代模型再试」策略可能会集体落空。另一个值得商榷的点是「Evals 是新的 PRD」的普适性——这一模型在 Anthropic 这种模型研发与产品紧密耦合的组织中高效运转，传统消费级或企业级 SaaS 产品的 PM 团队如果照搬这一方法，可能会发现缺乏与训练管线的直接连接通道。
值得关注的关键变量
Dianne 的访谈揭示了几个尚未确定的变量：第一，Claude 8 时代的产品形态——她的团队已在思考「Claude 8 到来时用户行为会发生什么变化」，这会直接影响当前产品架构的决策；第二，写作品质的突破——Dianne 确认团队正在积极训练 Claude 在写作语调与个性方面的能力，一旦取得突破，AI 写作的可识别性问题可能被重新定义；第三，模型安全机制与产品体验的平衡——随着 Mythos 级别的模型需要更严格的安全测试，Anthropic 正在构建「回退系统」让用户在不接触最强模型时仍获得良好体验，这将成为所有前沿实验室的新常态；第四，社区协作实验模式的规模化——小团队共享测试结果的方式在 200 人时有效，在数千人的组织中能否维持同一效率，将决定 Anthropic 创新能力的天花板。
AI 速览
