吞吐量暴涨30倍！英伟达新旗舰把AI推理成本打下来了

如果说AI行业有什么"硬通货"，那一定是英伟达的GPU。每次英伟达发布新一代芯片，整个AI圈都要抖三抖——因为它直接决定了未来两年AI算力的成本天花板。

2026年8月的Hot Chips大会上，英伟达首次公开了新一代旗舰机柜Vera Rubin NVL72的实测数据。结果让所有人都倒吸一口凉气：在运行DeepSeek V4 Pro模型的智能体工作负载测试中，每兆瓦吞吐量达到了上一代GB300 NVL72的30倍，单个Token的推理成本下降了35倍。

30倍的吞吐量提升、35倍的成本下降，这是什么概念？

简单算一笔账：以前你花100块钱的电费和硬件成本，能生成1万个Token的AI回复。现在同样花100块钱，能生成35万个Token。以前训练一个大模型要花1亿美元，现在可能只需要不到300万美元。这种级别的成本下降，足以让很多以前"算不起"的AI应用变得经济可行。

Vera Rubin是英伟达的下一代GPU架构，接替的是当前主力的Blackwell架构（也就是GB300所在的架构）。NVL72指的是一个机柜里集成72颗GPU，通过NVLink高速互联，形成一个超级计算节点。这种"机柜级"的设计是英伟达从H100时代开始推行的思路——不再单卖一颗GPU，而是直接卖一整个机柜，把互联、散热、供电全部做好，客户插电就能用。

30倍的提升是怎么做到的？主要来自三个方面的突破。

第一是架构层面的优化。Vera Rubin针对大模型推理做了大量定制化设计，包括更高效的矩阵运算单元、更大的片上缓存、更智能的显存调度机制。大模型推理中有大量的重复计算和数据搬运，Vera Rubin通过架构创新把这些开销降到了最低。

第二是工艺和封装的进步。Vera Rubin采用了更先进的制程工艺和3D堆叠封装技术，晶体管密度大幅提升，同时显存带宽也上了一个台阶。大模型推理最大的瓶颈之一就是显存带宽——模型参数太大，每次推理都要从显存里读大量数据，带宽不够就会导致计算单元闲着等数据。Vera Rubin在显存带宽上的提升，直接转化为了推理吞吐量的暴涨。

第三是系统级的协同。NVL72机柜里72颗GPU通过新一代NVLink互联，带宽比上一代提升了数倍。大模型推理可以在72颗GPU之间高效分配，不再受限于单卡的显存容量和算力。而且英伟达还优化了整个软件栈，从CUDA到TensorRT到推理引擎，每一层都针对Vera Rubin做了深度调优。

但最值得关注的，不是30倍这个数字本身，而是它对整个AI行业的影响。

推理成本下降35倍，意味着什么？意味着AI应用的商业化门槛大幅降低了。以前很多AI创业公司最大的痛点就是"用不起"——用户量一大，推理成本就直线飙升，收入根本覆盖不了算力支出。现在推理成本降到原来的三十五分之一，很多以前亏钱的AI应用突然就赚钱了。

比如AI客服，以前处理一个用户对话的推理成本可能是几毛钱，现在可能只要几分钱。比如AI写作助手，以前生成一篇长文的成本可能是几块钱，现在可能只要几毛钱。成本的下降，会直接推动AI应用从"尝鲜"走向"普及"。

而且推理成本的下降，还会催生更多以前不可能的应用场景。比如实时AI视频通话、全场景AI语音助手、大规模AI内容生成……这些应用以前因为算力成本太高而无法落地，现在终于有了商业化的可能。

当然，Vera Rubin也不是没有挑战。

首先是功耗。72颗GPU组成的NVL72机柜，功耗达到了惊人的级别。一个机柜的功耗可能超过100千瓦，相当于几十户家庭的用电量。这对数据中心的供电和散热提出了极高的要求，很多老旧数据中心根本装不下这种"电老虎"。液冷散热正在成为标配，但液冷的改造成本也不低。

其次是价格。性能提升30倍，价格肯定也不会便宜。据估算，一个Vera Rubin NVL72机柜的售价可能超过300万美元。对于中小公司来说，采购这种级别的硬件压力巨大，更多还是会通过云服务按需租用。

还有供应链的问题。新一代GPU的生产需要最先进的制程工艺，台积电的产能有限，能不能满足全球的需求还是个未知数。H100和GB300都经历过严重的供不应求，Vera Rubin大概率也会重蹈覆辙。

但不管怎样，Vera Rubin的发布传递了一个明确的信号：AI算力的性价比还在以惊人的速度提升，AI应用的成本天花板正在被不断打破。

从H100到GB300再到Vera Rubin，英伟达每一代产品都把AI推理成本往下打一个数量级。这种趋势如果持续下去，未来5年内AI推理成本可能会降到现在的百分之一甚至千分之一。到那时候，AI就会像电力一样无处不在、廉价可靠，真正的AI普及时代才会到来。

推理成本下降35倍，你觉得最先爆发的AI应用会是什么？