从芯片卷到世界模型，AI推理正在成为硅谷的新赌注

Ivy Lab 硅谷特辑，探索宇宙边界。

Ivy Lab是常春藤资本发起的小规模闭门研讨，聚焦深科技与 AI 的前沿议题。

这个六月，Ivy Lab 来到了硅谷，两周时间从伯克利聊到斯坦福，对话更贴近产业落地的话题。新物种Sinovum也来到了现场。

本期的交流嘉宾，来自硅谷技术最前沿的一线：他们来自Google、NVIDIA、Tesla、xAI、Meta、Thinking Machines、Cerebras等顶级科技公司的研究员与工程师，Stanford、UC Berkeley博士，以及当下硅谷最受瞩目的数家明星创业公司的核心成员。

其研究与实践方向，覆盖晶圆级 AI 芯片架构、推理与后训练基础设施（含全球顶尖开源推理框架的核心贡献者）、世界模型与计算机图形学、Tesla 的硬件量产与 Robotaxi、AI 制药与表型建模、传感神经科学等。

本次整理是沿一条产业链自下而上来看：芯片 → 推理基础设施 → 机器人的大脑（世界模型）→ 物理本体的落地 → 科学应用。

本文由硅谷现场交流的观点总结，结合公开资料独立分析整理，文中嘉宾均做匿名化处理。

Key Takeaways ：

• 推理正在从训练的附属环节，逐步成为一个可被一级和二级市场单独定价的基础设施品类，Cerebras 完成 IPO、英伟达收购 Groq，都是这一迁移的注脚；

• 推理基础设施或将成为下一个热点，下一轮基础设施建设的重点在于服务模型，而不是训练模型。

• 把语言模型的概率范式迁移到需要物理精确性的世界模型，可能需要重新审视其训练方式，真实世界对误差的容忍度，是分场景、分尺度的；

• 物理世界的落地瓶颈集中在长尾与鲁棒性，而非平均表现。在相当长的时间里，人仍是处理极端情况成本最低的一环；

• 在 AI for Science，模型层的边际价值在下降，能够对齐、能够持续生产的高质量数据，正成为更关键的壁垒。

01.

芯片层：HBM 的延迟悖论

推理，而非训练，正在成为下一阶段的竞争重心；即便是训练时代的主导者，也更倾向于通过收购获得推理能力，而非自建。

判断一个方向是否进入产业拐点，资本配置是较硬的信号。今年上半年，AI 芯片层发生了几件值得连起来看的事：Cerebras 在五月完成 IPO（估值约500亿美元），英伟达以约 200 亿美元收购了主打低延迟推理的 Groq，Intel 也传出收购 SambaNova 的意向。我们倾向于把它理解为同一个迁移：推理，而非训练，正在成为下一阶段的竞争重心；即便是训练时代的主导者，也更倾向于通过收购获得推理能力，而非自建。

这一层我们也拜访了一家做晶圆级芯片的公司，它让我们对 HBM（高带宽内存）有了更克制的认识。市场的注意力高度集中在三星 HBM 的份额与良率上，但从架构第一性看，HBM 解决的是带宽，代价是延迟。

AI 推理真正需要的是带宽与低延迟兼备，而低延迟这一半目前缺乏低成本的供给，于是行业先用高带宽方案承接了需求。换言之，HBM 更像是被这一轮需求临时匹配上的既有技术，而非终局。这也是为什么存内计算、近端 SRAM、光互联等路线仍有结构性机会，尽管各自都有明确的约束。

更值得记下的，是对英伟达护城河的一个再认识。它的优势并不只在单卡性能，而在于一套降低客户使用门槛、并保证生态兼容的系统：一方面主动适配学术界层出不穷的新架构（从 Transformer 到 Mamba 到各类混合结构）；另一方面维护从数据到训练代码的开源工具链，让那些拥有数据但不愿外传（如法律、医疗）的客户，能够在自有数据上完成微调。

真正的壁垒是"让买了卡的人能立刻把卡用起来"这件事本身。 对挑战者而言，这意味着竞争焦点不在峰值算力，而在能否在某类具体推理负载上把总拥有成本（TCO）做到更优、且被现成软件栈充分利用。

02.

推理基础设施：被低估的工程门槛，与两种分化的商业模式

它们靠推理赚钱，而整个市场的方向却是推理越来越便宜。谁能在单价持续下行的同时，靠规模、效率与粘性把毛利守住，谁才算真正建立了生意，而不只是踩中了风口。

往上一层，是把算力变为可调用服务的推理基础设施。这一层近一年增长显著，Together、Fireworks、Baseten 的年化收入与估值均有数倍跃升，但增长本身并非洞察。它背后是一条结构性顺风：推理预计将占 2026 年 AI 算力的约三分之二，而 2023 年这一比例还只有约三分之一。对于这一层我们有两个观察：

其一，这一层的工程门槛被显著低估。表面上它与早年的云服务相似、门槛不高，但为什么拥有海量算力与人才的大型云厂商，反而难以做好自家的推理与小模型服务？

我们的理解是：这类能力的核心是工程经验，是把大规模集群中低频、难复现的问题稳定下来。它对有经验的团队近乎"一点即通"，对缺乏经验者则难以靠堆人堆卡补齐。关键在于，这种知识不随人头与资本线性增长，这正是大厂的资源优势在此处失灵的地方。

后训练（尤其强化学习）在工程上比预训练更复杂：推理与训练两条链路同时运行，叠加精度对齐、与沙盒或模拟环境交互等问题，模块更多、调试更难。这也解释了为何这类团队不甘心只做推理，而要把训练、微调、强化学习一并纳入一个端到端平台，它们在主动占据这一层最难、因而最难被替代的工作负载。占住最硬的那块，是它们对抗"被商品化"的核心策略。

还有一个有趣的观察，目前推理基础设施这一层最具竞争力的团队，多数从开源推理框架的核心贡献者中长出。几支主流开源推理引擎背后的团队，近一年几乎沿同一路径完成了商业化。开源贡献度本身既是壁垒，也是最早的客户来源：当一套引擎已经在为多家头部科技公司每天跑万亿级 token，商业化往往只是把免费用户转化为付费托管。

其二，商业模式的分化决定了不同的命运。纯粹按 token 或 GPU 时长计费，规模化快，但定价权薄；而面向企业的私有化部署与定制，用自有数据做后训练、交付可定制环境，更重、更慢，却因切换成本高而更具粘性。

这种粘性的本质是：模型可以换，但一旦把产品的流量、延迟、扩缩容与成本控制整套系统围绕某一服务栈调优好，要拔出来重做就极难，换言之，基础设施的选择比模型的选择更"永久"。

但即便是粘性更强的一端，毛利也长期承压。这一层实际上夹在三面之间：下方是持续降价的算力，上方是持续自研、随时可能把推理收回自己手里的超大厂（Bedrock、Azure Foundry等），侧面还有前沿模型 API 降价、不断收窄开源方案的成本优势。其结果是，这类公司的毛利普遍在 50% 上下，明显低于订阅软件 70% 以上的水平，因为 GPU 成本直接压在成本里。

这构成了这一层最根本的悖论：它们靠推理赚钱，而整个市场的方向却是推理越来越便宜。谁能在单价持续下行的同时，靠规模、效率与粘性把毛利守住，谁才算真正建立了生意，而不只是踩中了风口。

03.

世界模型：当概率范式遇上需要精确性的物理世界

复杂工具的图形界面正逐渐被视为 AI 直接理解底层函数的障碍，"无界面（headless）+ 由 code agent 直接调用底层接口"的形态，或将成为系统层迭代更快的方向。

这一层是我们这次讨论最深、也最能与第一期接续的部分。抛开"有哪几条技术路线"这类已被充分讨论的问题，我们更关注一个更本质的疑问：语言模型赖以成功的概率范式，能否、以及在多大程度上，迁移到物理世界模型？

一个值得认真对待的观点是：语言模型通过"预测下一个 token"学到的，是一个被人类反复抽象、压缩过的符号世界；而物理世界模型面对的是连续、高噪声、且对精确性有要求的真实信号。

按概率分布去拟合，与真实物理的生成机制未必一致，因此直接照搬大语言模型的训练方法来训世界模型，可能需要调整。这一点与第一期"语言是被压缩过的半成品世界模型，运动控制没有这层福利"的讨论一脉相承：纯像素或纯几何的"还原"，未必等于"理解"，理解一辆车，不只是知道它的三维形状，还要知道它会运动、会遵循何种物理。

由此引出两个更细的判断。其一，对精确性的要求是分场景、分尺度的。在远离人体、容错较高的场景，"够用"即可；但在贴近人的场景（手术、用药、临床），以及任何有合格判定的工业制造中，对精度的要求陡然上升。这意味着世界模型的落地，应优先选择那些"对精度的要求与当前能力相匹配"的场景，而非一上来就挑战最难的部分。

其二，泛化的边界仍不清晰。一个在工程师群体中相当普遍的体感是：模型在很大程度上"喂什么会什么"，局部泛化可以期待，但跨场景的强泛化尚缺乏可靠证据，耗费大量精力构造的高精度数据，往往在训练分布内有效，换一类场景便难以外推。如何弥合这一外推的鸿沟，可能是世界模型走向通用的关键，目前尚无共识答案。

最后是一个偏架构的趋势，值得创业者留意：图形引擎沉淀了二三十年高度结构化的三维世界数据与物理规则，是世界模型有价值的数据来源之一；但把高保真的实时神经渲染部署到端侧，目前仍受算力约束（最前沿的实时扩散渲染推理代价依然很高），短期内更可能停留在离线或云端。

与此同时，复杂工具的图形界面正逐渐被视为 AI 直接理解底层函数的障碍，"无界面（headless）+ 由 code agent 直接调用底层接口"的形态，或将成为系统层迭代更快的方向。

04.

物理本体的落地：长尾、鲁棒性，与"现场主义"

大脑再强，也要装进本体、跑在真实世界里。这一层最值得记录的，是落地瓶颈的性质：它集中在长尾与鲁棒性，而非平均表现。

大脑再强，也要装进本体、跑在真实世界里。这一层最值得记录的，是落地瓶颈的性质：它集中在长尾与鲁棒性，而非平均表现。

无论是进入无 GPS 信号区域便难以定位的城市/室内无人机，还是需要在固定接驳点精准操作的物流场景，其工程要求往往是"十万次不允许一次失误"。而现实是，即便同时具备 GPS 与视觉的成熟系统，也难以达到这一量级的可靠性，强阵风、恶劣天气、强光眩光乃至人为干扰，都可能导致失效。

这与自动驾驶长尾问题同源。一个我们认同的判断是：在相当长的时间里，人仍是处理极端情况成本最低的一环；因此具身智能更现实的价值，短期内在于把人从枯燥、危险的环节中替换出来，并保留人来兜底长尾，而非追求完全自主。

制造端则印证了"现场主义"的价值。把硬件做到大规模量产，难点通常不在设计，而在执行：让一线工程师拥有足够的决策权、以第一性原理而非历史经验来推动判断、并在问题出现时第一时间到现场。因为脱离现场的指挥往往基于失真的信息。一个细节颇具代表性：同一处故障，照片所示与实物相差甚远，单个偏差尚可忽略，多个偏差叠加便会演变为难以归因的复合问题。

05.

AI for Science：模型的边际价值在下降，数据成为更关键的壁垒

当下的概率模型是否真正捕捉到了生物本质？在公开评测上取得好成绩，与在机理上具备可解释性，并不等同；可能的出路指向临床、结构与组学的多模态数据对齐，但其数据规模门槛极高。

走到科学应用层，我们一个较为明确的体感是：模型层的边际价值正在下降，数据成为更关键的壁垒。当头部基础模型已足够强、且大型药企开始与模型厂商直接合作时，再在通用模型层投入的边际回报有限；竞争的焦点正转向数据，它为模型提供准确性，且更难被快速复制。

今年初，多家机构联合构建大规模扰动单细胞数据集（量级达上亿细胞、数十万次扰动），其公开表述正是"高质量、高通量的扰动数据仍然稀缺"；而面向全球的虚拟细胞建模竞赛，本质上也是在用一场公开评测，推动"数据驱动模型准确性"的飞轮。

但数据路径存在一个结构性约束：可扩展性受限于场景的同质性。以表型模型为例，把临床真正关心的指标作为下游预测任务，对药物筛选与患者分层价值很高，但不同适应症之间的表型差异，使得扩展往往只能在单一适应症范畴内进行，难以横向迁移。

这与第一期"通用与好用之间的权衡"在医药领域的对应。更深一层，则是第一期那个哲学问题的回响：当下的概率模型是否真正捕捉到了生物本质？在公开评测上取得好成绩，与在机理上具备可解释性，并不等同；可能的出路指向临床、结构与组学的多模态数据对齐，但其数据规模门槛极高。

如果说第一期讨论的是"AI 能否通向 AGI"这一偏理论的问题，那么这一次在硅谷，则更多是在观察它落到产业链每一层时所面对的具体约束。把这条自下而上的纵切串起来，有几个问题或许值得放进任何一个 founder 的思考框架：

• 你所处的环节，真正的壁垒是"能否做到"，还是"是否积累了足够的工程经验与踩坑"？

• 你交付的能力能否在新场景下复用，还是每换一个客户都需要重新构造数据、重新训练？

• 如果你做模型，模型层的边际价值是否已在下降，你真正的数据飞轮在哪里、能否对齐？

• 你要解决的任务，更接近"可压缩、能泛化"，还是充满了低频而高代价的极端情况？

主要公开数据来源：

Cerebras IPO 与 AI 芯片并购（Fortune）；

Together / Fireworks / Baseten 收入与估值（Sacra；The Information）；

世界模型相关进展（公开报道）；

大规模扰动单细胞数据集与虚拟细胞建模竞赛（Arc Institute；Tahoe）；

闭环记忆调控与可穿戴监测研究（NCBI/PMC）。

排版运营 / Teagan

- End -