Anthropic 首位技术 PM：AI 时代，Evals 是新的 PRD

Lenny's Podcast 对 Anthropic AI 研究与 Labs 团队产品负责人 Diane Penn 的深度访谈。Diane 作为 Anthropic 首位技术产品经理，亲历了从 Claude 2 到 Fable 的每一次模型迭代，并主导孵化了 Claude Code、MCP、Skills 等创新产品。在长达一个半小时的对话中，她回顾了 Anthropic 早期只有五名工程师时的创业文化，剖析了 Opus 3 和 Opus 4.5 如何成为公司关键转折点，解释了 “Evals 是新的 PRD”这一产品哲学，分享了 Labs 团队的孵化模式，探讨了 AI 时代产品经理的核心能力、前沿模型的安全与治理、以及如何在技术指数级爆发中保持团队活力与个人判断力。

本文编译 Lenny's Podcast 最新一期博客内容：https://www.youtube.com/watch?v=tivaWTTVRhY，以下是完整编译。

1

早期 Anthropic：在 OpenAI 阴影下寻找身份

Lenny：今天我的嘉宾是 Diane Penn，Anthropic AI 研究与 Labs 团队的产品负责人。三年多前，她以首位技术产品经理的身份加入 Anthropic，在 AI 行业里，三年就像一辈子那么久，当时产品团队只有五名工程师。她参与了从 Claude 2 到 Fable 的每一次模型发布，也参与孵化和推出了 Claude Code、MCP、Skills、Claude Design，以及计算机使用（computer use）、工具使用（tool use）和推理（reasoning）等核心能力。

我想聊聊 Dianne 团队的产品角色正在发生怎样的变化。驱动用户价值的方式，是找到正确的用户反馈。我们团队有句话：“Evals 就是新的 PRD。” 这也是 YC 的 Gary Tan 一直在聊的话题。每年花 10 万美元买 token 在今天看来是奢侈，但在 2028 年这就是日常开销。你现在这么干，就等于提前活进了未来。你要像打磨产品界面一样，去死磕每一个 token 的用法和效果。你必须亲自上手跟模型打交道，好的想法，都是用出来的，没有捷径。人们对 AI 工具应该更大胆一些，因为它们的能力真的远超想象。

我经常问团队：假设 Claude 8 来了，用户的行为会有什么变化？这对我们今天的产品构建方式意味着什么？

我想回到 Anthropic 的起点。我记得 Anthropic 刚发布第一款模型时，大概三年前吧，我当时的感觉是：这些人没戏了，OpenAI 领先太多了，他们怎么想的？OpenAI 已经赢了，太晚了。但现在情况完全不同了。目前我看到的数字是，Anthropic 的年经常性收入（ARR）达到了约 50 亿美元，这相当于过去非常成功的公司上市时的估值。你作为最早的 PM 之一加入时，团队大概只有五名工程师，模型甚至还没发布。那时的早期日子是什么样的？有什么可能会让外界感到惊讶的事？

Diane：我 2023 年加入，当时确实只有 5 个产品工程师。你可能不信，我们整个 API 业务只有一个工程师在撑。但我觉得，Anthropic 能走到今天，很多核心特质在早期就已经存在了。

最重要的就是文化。这是我向所有关注这家公司的人反复强调的，这里的人真正在践行使命和价值观。整个氛围就是一家创业公司。你说得对，我们当时确实在拼命找自己的定位。技术是一回事，但这项技术怎么给用户创造价值、给社会创造价值？它能成为什么？

早期我们做了很多探索。从 Claude.ai 聊天助手起步，逐步加入工具调用等功能。但我觉得真正找到手感的一个时刻，是做了“金门大桥 Claude（Golden Gate Claude）”，不知道你还记不记得？

Lenny：不记得，讲讲。

Diane：这个功能大概只上线了 24 小时。2024 年初我们发布了一项可解释性研究成果，模型的不同层里有所谓的“特征”，每个特征代表某种主题。研究人员识别出了“要点式写作”、“人物”、“地点”等特征，还有一个特别突出的就是“金门大桥”。当我们把那个特征的权重调高，Claude 就会在每一个回答里都强行扯到金门大桥。比如你问“给我个意大利面食谱”，它会说“给你食谱，另外这个面的橙色就跟金门大桥的国际橘红一模一样”，非常无厘头。

但我们觉得特别有意思，就想把这个东西带给真正的用户。整个功能从想法到上线只用了 24 小时，工程、产品、设计、研究全团队联动。最后可能只有 2000 人用到了，但它给了我们一个信号：我们可以用创业公司的速度，用我们自己的方式，做出跟竞争对手不一样的东西。 那是我们找到身份认同的隐形转折点之一。后来 Labs、Claude Code 等一系列产品，都是沿着这条路走下来的。整个过程非常自下而上，工程师、设计师都是自愿贡献时间来做。文化和价值观从早期到现在，其实一直没变。

1

关键里程碑：Opus 3 与 Opus 4.5 的转折

Lenny：从当时那个试图与 OpenAI 这个巨无霸竞争的小实验室，到今天这个位置，还有哪些大的转折时刻让你印象深刻？

Diane：绝对是我们训练和测试 Opus 3 的时候。那时公司还不到 200 人，非常清楚我们需要、也想要创造一个前沿模型，这对我们触达用户、消费者以及展示研究能力非常重要。我们也在寻找答案：为什么有人要选择 Claude？这是早期我们被问到的核心问题。

Opus 3 在 2024 年 3 月初发布，但此前许多个月，推理、研究、微调、预训练等各个团队在不同时间点团结起来，朝着一个共同目标努力。当时是 12 月，所有人都窝在父母家里过寒假，视频会议里能看到每个人的童年卧室背景，大家都在拼命想：我们要用这个模型解决什么问题？它的呈现方式对不对？

那段经历建立了非常深厚的信任基础。当时很多研究负责人，现在已经是强化学习、角色塑造、对齐工作的带头人。那种早期在战壕里一起摸爬滚打出来的信任，让我们今天在产品和研究之间的协作也非常顺畅。

还有一个关键决策是押注编程。2023 年我刚加入时，没人会把 Anthropic 和“写代码”联系在一起。竞品模型（比如 GPT-4）当时确实有人拿来写代码，但这只是众多使用场景之一。我看到的是，人们不仅用模型做代码补全，还在让它写大段的代码。于是我们想：能不能专门把 Opus 3 往这个方向优化？从训练角度来说这其实只是一个相对小的调整，但它在早期帮我们实现了差异化，吸引了大批最早期的 Claude 开发者和爱好者，因为我们提供了他们认为当时还不存在的东西。

Lenny：你提到 Opus 3 很有意思，现在回头看觉得那是很久以前的事了，但在当时内部确实是重大里程碑。那更像是一种信心上的突破，我们真的能发布一个前沿模型，虽然跟今天的模型比起来已经不算什么了。Opus 4.5 是又一个飞跃吧？也是一年后，也是寒假。

Dianne：对，Opus 4.5 绝对是另一个大时刻。它的魔力在于，我们不仅有了更好的模型，还有了一个伟大的产品载体，Claude Code。我们团队常说一句话：你需要前沿产品，才能承载前沿模型，才能让用户感受到前沿模型的魔力。Claude Code 在发布前好几个月我们就已经在内部感受到了它的潜力。但模型智能水平跨过了一个门槛，用户能在非常广泛的层面上体验到前沿智能，能以代理的方式端到端地完成任务，那才是真正的转折点。这两件事是互相成就的：没有 Claude Code，Opus 4.5 不会有那样的高光时刻；没有 Opus 4.5，Claude Code 的普及速度也不会那么快。

Lenny：Dario（Anthropic CEO）很有意思，回头看他所有的预测，他一直说“编程将在一年内 100% 被解决”、“AI 会写所有代码”。当时所有人都说“不可能，这事太复杂了，AI 怎么可能做好人类做的这么复杂的事”，结果他完全说对了。

他还经常说我们现在正处在“指数曲线”上。不久之前新模型发布时，所有人都在说“到头了，平台期了，没增长空间了”。现在完全反过来了，我们就在指数曲线的内部，也就是说每一次进步都是巨大的飞跃。身处这个历史性时刻内部是什么感觉？人们应该怎么为接下来更快的加速做准备？

Dianne：我在团队里常说：我们大多数人并没有亲历互联网从“新奇玩意”变成“人人可用”的那个转型期，现在这种感觉正在重演。类比一下，有几点很重要：

第一，适应性变得至关重要。我们有评估集，有安全测试、红队测试，有各种原型和产品，Claude Code、Tag 等等，但几乎不可能准确预测某个模型会在哪个时间点带来什么变化。面对新信息时，你能快速调整还是死守原计划，这种敏捷性是关键。

第二，在这种节奏下，你必须用第一性原理去思考：下一步是什么？那又怎样？我们应该投资什么新产品？怎么向用户解释这些差异？当你发现“原本计划几个月后才可能实现的事，现在模型已经能做了”，你就要立刻行动，把东西带给用户。协同工作、Skills、Tag……这些都是这种正反馈循环的产物。

还有一点是对彼此的信任。不同团队感受到指数曲线的速度不一样，你得用包容的方式带着整个组织和公司一起往前走。

Lenny：所以核心就是：每次模型发布前你都不知道新的可能性是什么，所以最重要的能力就是保持适应性。产品本身要能跟上可能性。模型能力很强，但人们可能不知道能拿它做什么、不知道怎么用，所以产品要降低这个门槛，甚至直接告诉用户“你可以这样做”。

Dianne：没错。规模律论文里有一些很有意思的图，大家都很熟悉那个“损失随算力和数据增加而下降”的平滑曲线。但论文里其实还有另一组图，展示的是“新兴能力”，这些能力的出现是不连续的跳跃。模型突然就从“算不出 1+1”变成了“能稳定计算 1+1”。这种跳跃在发生之前几乎是不可预测的。这就是为什么安全更难做，除非你有评估集、有测试系统，否则这些跳跃可能已经发生了你都不知道。

Lenny：这太有意思了，你可能开发出了一个能做某件事的 AI 大脑，但你甚至不知道它能做这件事。所以工作的一部分就是不断发现：“哇，我们突然变得特别擅长这个了，那能用它做什么？”

Dianne：用产品经理的语言来说，就是“产品过剩”和“用户过剩”。即使在今天的模型上，我们还有很多东西可以探索，更不用说 Fable 了。这种“发现”本身就是 Anthropic 早期 DNA 的一部分，也会继续是我们产品、实验室、研究运作方式的核心。

1

Token 最大化：花 10 万美元提前活进 2028 年

Lenny：Gary Tan（YC 总裁）有个观点：如果你现在每年愿意在 token 上花 10 万美元，你过的就是 2028 年普通人的生活，到那时这成本根本不值一提。现在有一个“阿尔法”机会去提前体验未来，疯狂花 token。你怎么看这种“token 最大化”？

Dianne：我更多从产品角度看，token 消费只是输入，真正的输出是你说的“实验”。如果我们的目标是用实验驱动发现，那么可能有多种方式达成那个结果。

但我可以告诉你：内部最有创造力的思考者、最好的原型制作者，都会花大量时间跟每一个新版本的研究模型打交道。你必须亲自用模型，才能产生好想法、更好的想法、惊艳的想法，这事谁也替不了你。在技术变化这么快的时代，不动手光想策略，几乎不可能想明白。

同时，我们内部还在做另一件事：公开工作。早期产品界面比较少的时候，我们有一个 Slack 频道，几乎全公司的人都在里面测试早期版本的 Claude，尝试各种用法，有的人用它改文章，有的人用它润色邮件，没人管这叫“用例”，但大家都在做。神奇的是，有人想到一个点子，其他人试了不同的变体，大概 10 次左右的尝试之后，就会出现一些真正神奇的东西，或者一个新的用例被发现了。

实验不一定是个人运动，我们可以在实验时做更多的“共同发现”。

Lenny：这太有意思了，我们不确定它能做什么，所以要靠大家不断试、不断分享，才能把可能性摸清楚。宏观上我们都知道模型能写好文章，但“具体能解决你的什么痛点、怎么把它变成一个普通用户能用的东西”，那才是需要探索和实验的地方。

你负责 Labs 团队的产品。Labs 是什么？怎么运作的？为什么能在核心产品团队之外做出这么多创新的东西？

Dianne：Labs 的核心理念是识别和探索那些不在核心路线图上的“不连续的大赌注”，搞清楚这里面到底有没有东西，以及这个“东西”的 10 倍、100 倍、1000 倍在哪里。

比如 Claude Code、Skills，还有最近的 Claude Design 和 MCP。我们在团队内部强调的是：现在能做的事情太多了，关键是怎么判断一个“不连续的赌注”是否值得押。今年我们采取的一个方法是，对主题和方向保持坚定，对具体的原型保持灵活。所以本质上是一种实验文化。工程师非常自主，自己驱动去尝试不同的想法。有时我们的假设在当下还不成立，那就等一两个模型代际之后重新审视。即使原型最终没有发布，只要帮我们学到了东西，那就是有价值的。

Lenny：在一个本来就如此创新、如此高速的 Anthropic 内部还要再建一个 Labs，这本身就挺有意思的。Labs 能运作得这么好，核心原因是什么？

Dianne：还是团队文化。Ben（Mann）设定了很高的愿景，推动大家去想 10 倍、100 倍。Labs 内部的小组都很小，有时候一个想法就始于一个工程师。如果让一个很大的团队去追一个很模糊的大想法，反而会因为人多而慢下来。

另外，我们也筛选人，要的是真正想做 0 到 1 实验的人。这不容易，有很多赌注你最终会关掉、会放弃，也许以后会再捡起来。但你投入了全部心血，像一个创始人一样为一个想法奋斗，然后它没成，这很难。所以你要找的是那种真正热爱 0 到 1、为此充满激情的人。

Lenny：你还领导产品和研究团队的协作。很多人不太理解 AI 实验室里的研究人员到底每天都在干嘛。我的想象是：他们有一个改进模型的假设，找数据、调算法、检查训练方式、测试、看结果、不断迭代，大体对吗？

Dianne：那是很大一部分日常工作。但研究组织和研究人员还有一个层面，对未来的宏大愿景。比如 Anthropic 创立之初，研究人员就在讨论“怎么让 Claude 用电脑”、“怎么让 AI 导航屏幕”，研究人员身上其实有很强的创始人能量，非常大胆、非常有野心。

所以一方面是对这项技术能走到哪里的长期愿景，另一方面是“既然 Claude 已经在用户手里了，怎么让它今天变得更好”，两者兼顾。

我团队和研究人员合作的方式是深度嵌入到这些循环中，特别是在对用户影响大的领域，视觉、计算机使用、编程、代理编程、工具调用、测试时计算等。我们要做的是把用户反馈带到研究人员面前，并且让它可理解、可操作。

比如用户在 Claude.ai 上反馈“Claude 产生了幻觉”，这种反馈太模糊了。你跟研究人员说“请修复幻觉问题”，他没法动手。所以我们的工作是拆解：用户是在什么场景下给的反馈？Claude 当时应该调用什么工具？是不是看了正确的文档但提取了错误的事实？第一种情况是工具调用失败，第二种是搜索和知识合成的问题，也可能跟对齐有关。把这些细节带到研究人员面前，判断这是不是足够大的问题，然后建立评估集来衡量改进效果，这才是研究人员日常能用的语言。

Lenny：我最近跟人聊天，感觉 AI 研究现在是最热门的职业方向。从你观察来看，成为顶尖研究员需要什么？

Dianne：在 Anthropic，最成功的研究人员和研究领导者有几个共同点：

第一，极强的第一性原理思维，对问题的推理非常深入。

第二，对自己研究领域的热情，以及对未来有非常大胆的设想。

第三，真正贴近细节。我们的首席科学家、微调和强化学习负责人，真的会去看训练运行的评估结果、看底层数据。愿意贴近细节、对细节感到兴奋，是优秀研究人员的标志。

还有一点是思考的格局要大，像 Dario 那样说“我们要改变软件工程”。朝着那个方向走，你会学到很多东西。你必须敢于瞄准星辰大海。

Lenny：“更有野心”这个说法现在经常出现，说起来容易做起来难，真正的问题是“你到底能做多大”。这恰恰是 AI 解锁的东西。

Dianne：对。在方向上保持执着，在具体方法上保持灵活。技术变化这么快，你怎么保证你正在做的东西是“向前兼容”的？所以思考未来也是产品开发循环的一部分。我经常问团队：假设 Claude 8 出来了，用户的行为会有什么变化？你今天做的产品跟那个未来兼容吗？所以“有野心”不是漫无目的地大，而是保证所有方向是连贯的、有意义的。

Lenny：说到野心和 Claude 8，Fable 模型感觉触碰了一个全新的临界点。以前是“我们有个好模型，发布了，大家用吧”。但 Mythos 走了完全不同的路，被暂缓了，有很多审查，担心它能力太强。所有公司都得确保它不会黑进别人的系统。感觉以后每个模型都会面临越来越多的审查和使用限制。你怎么看这个变化？

Dianne：政策和出口管制方面我留给负责的同事。从产品和内部运作的角度来说，随着前沿模型越来越强大，安全保障、红队测试、预发布流程也必须快速演进。比如在 Fable 模型之前，我们没有那么强的“后备用户体验”系统，因为我们的目标是最大化技术的正面收益、最小化严重风险。现在我们会构建后备系统，让用户在遇到限制时仍然能从 Opus 4 获得很好的体验。

所以问题变成了：我们在提升安全系统的同时，怎么继续交付优秀的用户体验？两边都有很多工作要做。接下来几周和几个月，你们会看到我们在“模型安全保障包”上持续创新和改进。

Lenny：这带来一个很有意思的次级效应，Anthropic 内部能接触到最新的、最强的模型，而外部不行。这创造了一种不公平的优势。当然你们希望所有人都能用上，但事实就是如此。

Dianne：我们的目标是把这些系统和模型做得尽可能包容。我们不希望通用技术被过度限制，让它们更容易获取是我们目前的最高优先事项之一。

1

AI 时代的产品招聘：三年没变的标准

Lenny：AI 成为生活核心之后，产品角色在怎么变？你招聘 PM 时最看重什么？

Dianne：我团队的产品招聘流程三年没改过，我们看重的特质和评估方式一直是一样的。排在第一位的是第一性原理思维，不是照搬你在消费产品或者 B2B SaaS 里的老经验，而是在当下这个时刻、对这群用户、用这项技术，真正想清楚“用户价值是什么”。

Lenny：很多人听到“第一性原理思维”就说“我当然擅长”。有什么具体的例子吗？

Dianne：传统上，产品经理通过写 PRD 来体现自己的价值。但对我的团队，研究产品经理来说，驱动用户价值的方式是找到正确的用户反馈，也就是评估集，那是用户需求的具象化。我们也写 PRD，但我们内部有句话叫“评估集就是新的 PRD”。

所以第一性原理思维就是：搞清楚“为了达成目标，我现在应该做什么”，而不是“我以前做过这些事，所以继续做”。

过去的工作方式是：有一个想法→写 PRD→对齐→设计→开发→发布→看效果→迭代。现在变成了：收到用户反馈→把反馈拆解成可衡量的评估集→用评估集驱动改进。这是一套全新的工作方式。

Lenny：那评估集到底长什么样？能举个例子吗？

Dianne：早期 Claude 模型在遵循特定输出格式上表现不好，比如输出 JSON。而 JSON 是 Claude 成为好代理的基础，输不出正确格式就没法调用 API、没法用工具。

我们当时收到反馈说“Claude 不太擅长遵循指令”。我们追问用户：“你说的‘不太擅长’具体指什么？什么情况下发生的？你问了什么？Claude 回了什么？”挖到那个细节层面之后，我们发现大概 80% 的所谓“不擅长遵循指令”其实是指“Claude 没输出正确的 JSON”。

然后我们就做了 30 到 40 个“Claude 没做对”的例子，这就是评估集的雏形。每个例子包含一个提示词和一个响应，如果响应不符合预期，就说明这个评估集有效地识别了一个真实痛点。我们把它加入评估仓库，每次新版本 Claude 出来都跑一遍。现在这个评估集已经是 100% 或 99.9% 通过了，它不再是痛点了。但早期那个“从模糊反馈到可执行评估集”的流程，就是我们现在做事的模板。

Lenny：所以这就是 PM 的“测试驱动开发”，先写测试。评估集现在是 Anthropic PM 工作的核心了吗？

Dianne：是的。我也跟其他公司交流过，这个能力正在越来越广泛地成为产品经理的必备技能，因为我们做的很多产品本质上是“模型 + 上下文 + 用户”的组合。你无法改进你无法衡量的东西。而且模型的输出是非确定性的，每次答案都不一样，所以你不能靠“精确匹配”来判断好坏，必须更宽泛地描述问题。评估集就是这样一种工具。

Lenny：那你们现在完全不写 PRD 了吗？

Dianne：没有，也写。当问题定义明确时，评估集本身就是最好的表达。但在其他场景下 PRD 仍然很有价值，特别是当你需要让一大群人对齐目标时。我们其实为每个模型都写 PRD，不一定是给研究人员看的，而是给不断增长的产品界面、工程团队、法律、安全等利益相关者看的，确保大家在同一个方向上用力。

PRD 还有价值的另一个场景是：模糊的问题和机会。比如我们还没发布“计算机使用”功能时，没有现成的用户痛点数据，PRD 中的产品愿景部分可以帮助我们探索“如果技术还没准备好让所有人用，怎么让它先对某一小群人有用”。

所以 PRD 没死，只是应用方式不同了。

Lenny：还有什么新的特质是你现在更看重的？

Dianne：对中高层产品管理者特别要说的一点是：要想管好做 AI 产品的团队，你自己必须非常亲力亲为，不是仅仅花时间“玩玩”，而是真正用它来发货、贴近细节、跟你的 PM 和工程师一起“打磨 token”。

即使我招的是资深 PM，入职计划和刚入行的 PM 完全一样，理解用户、阅读用户反馈、跟客户聊天。你没有亲手做过，就很难真正理解“好的 AI 产品应该长什么样”。所以我一直要求自己，在模型发布周期里留出时间亲自负责一两个工作流，保持手感，保持对模型进步速度的感知，这样才能帮团队做更好的决策。

Lenny：所以不管你在公司的什么位置，如果你自己不构建、不跟 Claude 对话、不亲手做东西，你就做不好。

你还提到要“享受这件事”。但对很多人来说，他们是被迫用 AI 的，或者不知道怎么用，觉得很烦、变化太快、很累。有什么建议能帮他们找到乐趣？

Dianne：我想再强调一遍：实验不是个人运动。很多最快乐的时刻来自于看到别人也发现了新的用例。所以建议是：找一个对这项技术充满热情的人搭档，在一个你关心的用例上一起工作，而不是自己一个人闷头找“完美用例”，那会像工作，和别人一起更像是乐趣。

内部经常有这种情况：某个好奇的人分享了一个新原型的想法，立刻吸引了很多人，“哦，我不知道 Claude 现在还能做这个”。这就是良性循环。

Lenny：对，Twitter（现在叫 X）在这方面特别有用，你看到别人分享的东西，就会被启发去尝试自己的东西，分享自己的成果也很好玩。还有一个建议我经常听到：找一个你想解决的生活或工作中的问题，打开 Claude Code 直接告诉它你想做什么，从一个模糊的问题出发，你能走很远。

Dianne：对。难的地方在于可做的事太多了，所以要聚焦，要么找一个有热情的人搭档，要么找一个你能立刻发现价值的具体问题。这两条路都能让你走得更深，而不是浮在表面什么都碰一下。我自己也跟不上外面所有的新原型和产品，所以我的策略就是在 1-2 个东西上深度投入。

Lenny：我们刚做了一个读者调查，最有趣的发现之一就是：幸福感来自于在几件事上深入，而不是蜻蜓点水地做一堆事。当 AI 真正改善了你的生活，而不是给你一堆半成品，那种感觉才是真正的快乐。

Dianne：对。这是从“打卡交差”到真正有意义的转变。对产品人来说，这是对时间和精力的优先级排序。Anthropic 的秘诀之一就是文化，自下而上、公开实验、带着别人一起走。这最终会带来巨大的价值。

1

Dianne 自己怎么用 Claude？

Lenny：你自己在工作生活中有没有一些有趣的 Claude 用法？

Dianne：Fable 和 Tag 有很多新东西可以探索。Tag 让你在一个完全不同的范式里工作，让一个代理自己去干活，然后把成果带回给你。

还有一个用法我经常跟团队分享，用 Claude 成为更好的管理者。我用了很多 Claude 来准备“关键对话”，我特别喜欢《关键对话》（Crucial Conversations）这本书，所以我做了一个“技能”（Skill），让 Claude 根据书里的框架帮我判断：在某个情境下我的细节程度是否恰当？帮我成为一个更好的教练、更好的支持者。因为有时候你很难在当下找到最完美的措辞，而模型很擅长找到“正确的词”。

Lenny：所以你建了一个技能，让 Claude 基于《关键对话》的知识（它自己就知道，你都不用输入内容）来帮你准备棘手的对话。

Dianne：对。几乎像是一对一的个性化教练。我们每天做大量的上下文切换，有 Claude 帮忙思考、帮忙预演，虽然有时我最后不会采用它的建议，但头脑风暴的过程本身就很有价值：我对反应方式的思考对吗？怎么更快地深入？怎么更快地建立信任？

Lenny：有人担心，跟 AI 说话太多，人会变得像 AI 一样说话，变成那种“Dianne，不是这个，是那个”的风格。你担心这种“脑萎缩”、过度依赖、停止独立思考的问题吗？

Dianne：对我个人来说，思考和写作是紧密联系在一起的。我会用 Claude 来增强思考，但必须确保一件事：Claude 不能接管我的思考。所以取决于情况，取决于我想在某个情境中保留多少个人判断，我会先形成自己的观点，然后再跟 Claude 推敲。确保我的感觉和语气始终是自己的。

有些场景就不一样，比如月度业务回顾，我希望它更标准化，更“清晰提炼”。我有这方面的技能，正在改进它，但我希望最终能到这样一个程度：月度业务回顾的“写作”部分价值不大，真正有价值的是“思考”，所以我把写作完全委托给 Claude，自己只做审阅和验证。

所以关键在于：你拿 Claude 来做什么、你想传达什么，以及在这个场景里委托给 Claude 有没有“不对称的价值”。

Lenny：所以核心建议是：先有自己的观点，再把 Claude 当作“陪练伙伴”来反驳和发展你的想法。

Dianne：对。这就是对齐研究和安全研究的价值所在，你不想要一个只会附和的 AI，你想要的是一个能让你变得更好的技术。有时 Claude 的反驳让我变得更好，就像同事一样，你希望他们在你想法还不成熟的时候反驳你。

Lenny：Ben Mann 在播客里提到过 Claude 内置的“宪法”，对安全和对齐的关注。你可能会觉得这会限制 Claude，让它变得无趣，但事实恰恰相反：Claude 是最有人格魅力的模型。为什么？

Dianne：要让 Claude 尽可能智能和有能力，一个核心能力就是知道什么时候该反驳你，帮助你得出更好的结论。我甚至用 Claude 来帮助定价决策，有点“元”，但用研究版本的 Opus 问它“我们应该怎么定价”，能得到更好的结果。AI 不仅仅是助手、不仅仅是执行者、不仅仅是“被分配任务”，它能判断“自己是不是在做正确的事”，这跟“知道何时反驳”是同一个能力。主动性不一定是按计划做某件事，而是知道什么时候该产生一个新想法。所以 Claude 更“有用”的前提是：它知道什么时候该反驳。这是模型特质的核心。

Lenny：所以“不那么顺从”反而让它更好用，因为我遇到过太多人说“AI 说我是对的”，但事实上我们需要的恰恰是有人反驳。

Dianne：对。这就回到“如何保护你的思考”这个问题。如果 AI 能成为你的思考伙伴，思考伙伴不是只会同意你，它应该为你增值，让你在一天结束时因为跟 Claude 合作而有了更好的想法，那才是真正的目标，不只是“让你想法好 10%”。

Lenny：我喜欢这个。以前大家说的是“10 倍思考”，现在听到更多的是“怎么从这件事出发做 1000 倍？”，最雄心勃勃的版本是什么？

有意思的是，大语言模型按理说应该特别擅长写作，但 AI 写的东西总是一眼就能看出来。你觉得会有一天我们分不清是不是 AI 写的吗？

Dianne：这取决于你“想知道”的目的是什么。我其实认为我们在让 Claude 写得更好这方面还可以做很多，我的团队和研究端都有非常积极的努力在推进这个方向。

关键在于写作的目标是什么。比如月度业务回顾，我其实很乐意让它从头到尾由 Claude 写，而且不要让它感觉像人写的。

Lenny：所以有时候知道它是 AI 写的反而是好事？

Dianne：对。但角度可能更多是“可验证性”或者“谁在验证输出”，谁在签字。这比“谁在写”更重要。

Lenny：那你觉得为什么 AI 不擅长写作？我的猜测是它学遍了人类最好的写作，总结出了“最好的写法”，但写法就那么多，所以我们已经识别出了 AI 的套路。

Dianne：部分原因是我们还需要在训练改进上投入更多，让 AI 在写作领域持续变强。另外，技术是“锯齿状”的，之前模型写作好但不擅长做代理，我们的重点是“让模型更代理化”。现在代理能力提升了，写作就变成了更明显的短板。所以我们现在正处在一个需要重点训练写作能力的时刻，这是我们的一个非常活跃的领域。

Lenny：在通往 AGI/超级智能的路上，你觉得人类大脑在哪些方面还会持续有价值？

Dianne：我们最近一两年开始重点让 Claude 和模型在“判断力”上变得更好。判断力是大量细微差别和经验的积累，这些系统没有像人类那样经历过那么多。所以这种来之不易的判断力，对产品领导者也好、对所有人也好，会继续非常关键。

AI 能做的事情太多了，但哪些是 Anthropic 这样的实验室应该去做的？这需要人类的判断、坚持、主动性，这些不仅仅是“通用能力”，而是行为层面的特质。怎么找到最佳解决方案、怎么创造最好的体验，这些特质会持续重要。

另外还有专业领域知识，软件工程已经被 AI 改变了，但生物学、生命科学等领域我们可能还处在指数曲线的脚下。所以你会看到我们发布了 Claude Science，在这些领域投资，那是把技术带给社会、创造正面价值的方向。

Lenny：作为妈妈，你怎么看待孩子在这个新世界里应该学什么？

Dianne：其实还是那些老生常谈的，好奇心、坚持、相信自己内心的声音。我有一个 4 岁的孩子和一个 8 岁的孩子，我的责任是帮他们发展“内心的声音”，有主见、敢于表达立场、敢于坚持。这些技能在未来仍然很重要，拥有他们自己的、独特的个人声音。

Lenny：这和你之前关于“避免脑萎缩”的回答完全一致，在过度 AI 之前，先有自己的观点和视角。在孩子身上培养这个真的太重要了。

Dianne：对，对孩子和成人都适用。

Lenny：我最近在一个活动上，一群父母在聊怎么让孩子接触 AI。有个人说了一个有趣的方法，让孩子用早期模型，这样他们还得“挣扎”一下，而不是立刻得到所有答案。

Dianne：嗯。好奇心，Ben Mann 对这个问题的回答我一直记得，就是好奇心和蒙特梭利教育法。我们也在往这个方向鼓励孩子。

Lenny：Fiona Fun 建议我问你：作为一个妈妈，身处 AI 风暴中心、身处 Anthropic 的研究工作，你怎么保持充电、防止 burnout？

Dianne：2024 年我们全年发布了 4 个模型系列，今年仅仅 Q2 就超过了那个量。我感到非常幸运的是我们建立的团队，研究端的合作伙伴和研究产品管理团队都非常出色。

接近这一切的“神奇之处”在于：这不是个人运动。有一种彻底的“主人翁意识”和团队协作，有时确实感觉像在打高强度的竞技体育，因为你面对的是非常关键的决策、不断涌入的关于用户和训练的新信息，你必须快速提出建议、做出判断。没有人能靠自己持续做到这一点。

所以真正有帮助的是拥有一个互相照看的优秀团队，发布前一晚，即使不是那个模型的 DRI，也会熬夜帮忙审阅博客、做编辑、想更好的 demo，做彼此的“额外一只手”。如果你把所有变化都扛在自己肩上，很容易觉得孤单、觉得必须什么都自己做。但 Anthropic 的一个神奇之处就是：我们能找到机会互相帮助，然后“多走一英里”，我们管这个叫“进入蜂巢思维”（有一篇文章写过）。这让团队能够恢复，不只是你休假回来面对三倍的工作，而是你休假时知道团队能搞定正确的事，每个人都能互相照看。

个人层面，我的伴侣也非常支持，这是我在 AI 领域的第六年（亚马逊然后 Anthropic），他看到了我对这项技术的热爱，这从个人角度也很有帮助。

Lenny：这个回答和你之前关于“找到乐趣”的回答完全一致，有其他人、跟其他人一起工作、在事情变得疯狂时互相帮助。

Dianne：对。Fiona 最近上播客时我问她软件工程世界有什么变化，她说现在更孤独了，因为现在你在跟代理合作，而不是跟其他人。团队更小，人们每天跟一堆“舰队”说话。所以这件事提醒了我们：身边有真实人类的力量是无可替代的。

1

PM 不仅没死，反而更需要

Lenny：最后还有什么想说的吗？

Dianne：这次对话真的很有趣，你的问题帮我理清了思路。我想传达的核心是：

第一，这是巨大的成长和变化，在使用这项技术中找到乐趣。如果你现在感觉不到那种最初的快乐，去找那些有快乐的人。

第二，发展技能组合，用第一性原理去思考你解决的是什么问题。

你没问但我主动想说的一点是：社区里经常有人问“模型这么强、工程师这么能打，我们还需要 PM 吗？”我认为那些以用户为中心、深入理解用户要完成什么、以可操作的方式提炼出来、做那种不懈工作的人，那才是一个产品人员的核心。我反而觉得我们需要更多这样的人。我们在变得越来越技术驱动，但要让技术产生真正的影响力，你必须深入、必须好奇、必须超级亲力亲为，这些特质正是 Anthropic 在产品和模型开发中走到今天的部分原因，也是我们文化的一部分。希望对大家也有启发。

Lenny：太棒了。我也一直在说：现在“构建”变得容易了，困难的部分变成了“我们应该构建什么”以及“我们构建的东西对不对、好不好、值不值得投入”，那正是 PM 的职责所在。

Dianne：对，深入用户的细节。共情。

Lenny：好的，PM 们会活下去的。PRD 没死。两本你常推荐的书？

Dianne：个人方面是《How to Raise an Adult》（如何培养成年人），它说的是我们不是在“养孩子”，而是在“养未来的成年人”，这个框架很有帮助。另一本是 Eric Ries 的《Incorruptible》，我对“如何让伟大团队和公司持续前进”特别感兴趣。

Lenny：最近喜欢的剧？

Dianne：亚马逊的《Fallout》（辐射），机智、幽默、动作戏拉满，强烈推荐。

Lenny：最近发现的好产品？

Dianne：Claude Tag，内部不同版本用下来，感觉真的是一个非常强大的工具。

Lenny：最喜欢的人生格言？

Dianne：我是祖父母养大的，父母是留学生，在美国读本科和硕士。祖父常说：“无论你走多远，总还有下一层。”这是一种挺强硬的人生哲学，但每当我面对新的、前所未有的事情时，都会想起这句话。永远有下一座山、下一个机会，还不够好，得更好、得更大。

Lenny：Ben Mann 那句话很配这个，“这是未来最正常的一天了，以后只会更奇怪、更疯狂。”

Dianne：对，我们没事的。

Lenny：最后一个问题，你早期在 JP Morgan 做高收益债券交易员，管过上亿美元的交易组合。那段经历教会了你什么？

Dianne：那段经历教会的很多东西我现在还在用。交易大厅，跟《华尔街之狼》里那种不一样，大部分交易员都在终端前做分析，但还是非常男性主导。我是交易台上唯一的女性、唯一有那种背景的人。我学到的是：那是一个非常好的环境来建立真实的自我，以及即使你是最资浅的人、即使你跟别人不一样，最好的想法、对最好想法的信念，是最重要的，其他因素都不重要。

所以我现在在工作中的风格是，对团队非常坦诚、真实。无论级别或资历如何，如果有好的想法，就帮他们去实现；对自己也一样，把想法说出来，真正有信念，跟进，做那些琐碎的工作让它发生。这些都是我从交易中学到的，适用于任何工作。

Lenny：大家怎么找到你？

Dianne：我在社交媒体上没有很大存在感。最好的方式是关注 Anthropic 博客，我们发布新模型和新产品体验的地方。

对我最有用的：你的反馈。如果你在我们产品界面上点赞或点踩，或者跟销售人员反馈模型的任何问题，都会到我这里。每发布一个研究模型，我都会非常贴近地去理解用户满意度和反馈。所以给我们反馈、推动 Claude、告诉我们哪里不行，都能帮我们把 Claude 做得更好。

另外，我正在招聘，如果你认识那种热爱这项技术、有深度好奇心、第一性原理思维、无畏质疑假设、有捣鼓精神的人，欢迎推荐。

Lenny：所以是 Anthropic 研究团队的 PM 岗位开放？

Dianne：对。

Lenny：官网上申请？

Dianne：对。

点个“爱心”，再走 吧