别只看tokens/s：Agent时代的计算与存储芯片投资思辨

一张卡跑出1000 tokens/s，可能一文不值；另一张只跑300 tokens/s，却可能重新定义一台工作站。差别不在速度，而在它能装下多大的模型。Agent正在改变AI硬件的估值语言。过去，一颗芯片最容易传播的指标是TOPS、FLOPS和tokens/s。但进入Agent时代，用户问出的一句话，在后台可能是几十轮动作：调用基础模型、专用模型、LoRA Adapter、Embedding、检索、代码执行和外部工具，失败了还要回退、重试、反思。

峰值Token产出若没有转化为可接受的答案、可完成的任务和可持续的服务等级，就只是被电力、显存与折旧共同买下的中间产物。

因此，计算与存储领域的投资主线正在从“谁的单点规格最高”，转向“谁能把更强模型以更低系统成本送入真实产品”。这一区别尤其重要：把3B或8B模型跑到很高总并发，并不必然形成高价值芯片；如果CPU、GPU、NPU可以通过软件更新迅速覆盖同类负载，专用小芯片的速度优势就可能被兼容性、供应链和开发成本抵消。相反，若一张卡或一个单逻辑设备能够承载接近万亿参数的大模型，并在合理价格、功耗和时延下提供接近300到500 tokens/s的总并发，它为OEM/ODM创造的是新的产品能力，而不只是一个更漂亮的基准数字。

这里的“接近1T、接近300到500 tokens/s”是一种目标型产品定义，不是现有市场的通用实测门槛；单卡也可以由多Die、Chiplet或多芯封装共同构成。它表达的核心判断是：Agent的智能上限首先受基础模型能力约束。模型规模并非智能的唯一决定因素，数据、架构、后训练和推理策略同样重要；但在相近技术代际下，客户往往更愿意为更强推理、代码、工具使用和多模态能力付费，而不是为一个能力不足的小模型更快输出付费。

存储侧也在进入同一条价值链。Mixture of LoRA、多模型路由、MoE、长上下文和Agent Memory让模型权重、Adapter、专家、KV Cache与Prefix Cache在HBM、DRAM、SSD和共享存储之间持续流动。AI SSD由此不仅是容量器件，还可能成为扩大可部署模型上限、降低重算与GPU空转、改善有效Token成本的系统变量。它不会替代真正承担大模型计算的大芯片，却可能进一步压缩那些只以“小模型扩容或加速”为卖点、又需要整机专门适配的小芯片的生存空间。

别数Token产量，去算Token成本

Agent把一次推理变成了不确定长度的工作流。复杂任务可能要求多轮规划、工具调用、记忆检索、错误恢复和结果验证；同一个用户请求消耗的Token数量、模型组合和上下文长度都可能显著波动。NVIDIA对Agentic系统的描述已经把GPU、CPU、内存、网络、存储与安全放在同一条推理数据路径中，并把更低的cost per token、可预测时延和更高GPU利用率作为基础设施共同设计的结果。

对投资者而言，这意味着任何单项性能都必须回到系统结果验证。计算芯片需要同时回答可部署模型上限、持续总吞吐、首Token时延等；存储与内存则要回答命中率、数据回载时间等。只有这些指标共同作用，客户才会看到更低的每任务成本、更高并发和更好的终端体验。

一级市场更容易被架构新颖性吸引，二级市场更容易被收入增速和主题催化吸引，但二者最终都要回到同一个问题：技术优势是否成为客户不可轻易替代的单位经济性。一个实验室基准领先的芯片，如果需要重写模型、替换框架和修改主板，却只能运行已经被通用处理器覆盖的小模型，很难形成持续溢价；一个看似只是SSD的器件，如果能够以低增量成本减少昂贵HBM/DRAM占用、重算和GPU空转，反而可能获得更清晰的客户回报。

Agent时代的硬件投资机会地图

小模型跑得快，为什么不一定值钱

3B、8B模型并非没有市场。它们适合语音与视觉前处理、Embedding、Router、固定领域分类、设备控制、投机解码的Draft模型，以及对隐私、功耗和确定性SLO要求很高的边缘任务。问题不在于模型小，而在于一颗专用芯片是否把“让小模型跑得更快”当成唯一壁垒。随着CPU向量指令、GPU推理引擎、集成NPU和统一内存持续进步，小模型往往是最先被通用平台高质量兼容的工作负载。

对OEM/ODM而言，增加一颗独立芯片意味着主板空间、供电、散热、驱动、固件、操作系统镜像、供应链认证和售后体系都要发生变化。若新增器件只能把一个3B或8B模型做到1000 tokens/s总并发，而实际应用只需要一百tokens/s，多出来的九成峰值性能既不能提高任务成功率，也不能形成消费者可感知的差异。通用CPU/GPU/NPU一旦达到“足够好”，额外芯片的BOM与集成成本就会成为负担。

更具战略意义的大芯片，销售的是模型上限与产品代际。接近万亿参数的大模型需要更大的权重容量、更复杂的Tensor/Pipeline/Expert并行、更高内存带宽和更强互联，还要处理长上下文与多租户并发。能够把这类系统收敛到单卡或单逻辑设备，并接近300到500 tokens/s总并发的推理ASIC，会让工作站、私有云、边缘数据中心和高端OEM整机获得过去只能由大型集群提供的智能能力。客户购买的是更强Agent、更低部署门槛和更可控的长期Token成本。

这也解释了Token PU、TPU、LPU等名称背后的共同方向。TPU已经是Google长期迭代的定制AI加速器体系，软硬件从JAX、PyTorch、OpenXLA、vLLM延伸到Pod级互联和集群可靠性；Groq所称LPU强调编译器静态调度、片上SRAM、确定性执行和芯片间直连。Token PU更像围绕Token生成数据流、内存系统和推理SLO定义的新产品类别，而不是已经完全统一的行业标准。投资判断不应停留在命名，而应检查芯片、内存、封装、互联、编译器和Runtime是否共同为大模型服务。

目前，Google、阿里平头哥、d-Matrix、中昊芯英、Qualcomm、寅谱、Cerebras所推进的推理芯片同样定位大芯片路径，目标并非以小模型峰值速度参与速度优先的竞争，而是面向近1T或更大参数量的模型与更高总并发建立产品能力。其具体架构未在这里展开，但这一方向与计算机市场对大推理芯片的期待基本一致：计算芯片决定Token如何生成，存储与内存层级决定数据能否在正确时间到达，模型容量大小决定产生Token的实际使用价值，而该使用价值决定了用户的购买意愿。

小模型加速芯片与大模型推理ASIC的估值逻辑

大模型推理ASIC要跨过的三道门槛

第一道门槛不是峰值算力，而是模型能否装下并持续喂饱。Decode阶段常受到权重与KV Cache搬运影响；接近万亿参数的模型即使采用低比特量化，也会把容量、带宽、Chiplet、先进封装和互联推到系统中心。Google对TPU的产品定义已经把定制加速器、开放软件和AI Hypercomputer放在同一体系中；Microsoft的Maia 200同样把HBM容量、带宽、片上SRAM与数据搬运引擎直接写入推理经济学叙事。这类产品的竞争单位越来越接近一块板卡、一个机架或一个完整AI系统。

第二道门槛是编译器和Runtime。模型架构持续变化，从Dense Transformer到MoE、长上下文、多模态、Speculative Decoding和Mixture of LoRA，硬件必须快速支持新算子、低精度格式、动态Batch与多种并行方式。只靠固定数据流在一两个模型上领先，容易在SOTA架构变化后失去优势；能够把新模型快速编译、量化、切分并映射到多Die与多卡，才可能把一次架构红利变成平台能力。

第三道门槛是生态兑现。OEM/ODM关心的不只是芯片能跑，还关心Windows/Linux驱动、PyTorch或主流推理框架兼容、模型库、开发工具、故障恢复、供应稳定和生命周期支持。云端客户还会考察多租户隔离、集群调度、可观测性和每Token服务成本。一级市场应把流片、封装、HBM供给、编译器成熟度和客户共同验证视为同一张里程碑表；二级市场则要观察Design Win能否转为持续出货、软件收入和合理库存，而不是停留在发布会指标。

Mixture ofLoRA：模型路由为什么会重构缓存

Agent不会永远只调用一个模型。一个更现实的方向是共享一个或多个基础模型，再由Model Router按任务、用户、权限和成本选择LoRA Adapter、专家、工具模型或不同精度版本。所谓Mixture of LoRA可以理解为多Adapter组合与路由的一类探索，而非单一、已经定型的标准架构；再向外延伸，就是Mixture of Models、Mixture of Experts甚至Mixture of Anything。模型协作越丰富，基础权重、Adapter、专家和上下文的驻留与切换就越重要。

S-LoRA把大量Adapter保存在主内存，只把当前请求所需Adapter取入GPU，并用统一分页同时管理动态Adapter权重和KV Cache。Punica则通过共享单份基础模型、批处理不同LoRA请求和多租户调度提升GPU利用率。这些研究说明，多模型协作首先不是“再加一颗算力芯片”，而是共享什么、缓存什么、何时搬运和如何在SLO内完成切换的问题。

当Adapter、专家和Prefix数量继续增加，缓存层级会从HBM扩展到DRAM、CXL、HBF、AI SSD和对象存储。HBM保存当前热权重和KV，DRAM/CXL承接可变的Adapter池与预取缓冲，AI SSD保存冷Adapter、专家、模型切片与可复用Prefix，通用存储保留模型仓库和版本。Model Router不仅要选择模型，还要知道模型数据在哪里、迁移需要多久、缓存是否命中以及本次任务还能承受多少成本。

这为集成电路企业打开了比单颗AI芯片更宽的机会：HBM与先进封装提供热数据带宽，HBF尝试在HBM与SSD之间建立大容量读密集层，CXL提供内存扩展与池化，SSD控制器与近数据处理器承接缓存、压缩、索引和预取，DPU/NIC负责跨节点传输，编译器与Runtime把这些资源组合成有效Token。SK hynix与Sandisk正在推动HBF标准化，并把它定位为HBM与SSD之间的新层级；CXL则通过一致性互联支持内存扩展与资源共享。

Mixture ofLoRA与多级缓存的关系

AISSD为什么会成为小芯片叙事的替代变量

AI SSD首先仍是一块SSD。只要保持标准PCIe/NVMe形态，它可以直接进入计算机、工作站和服务器，继续承担系统盘与数据盘职责，再由中间件、Runtime和固件开启模型切片、专家卸载、KV Cache复用、压缩或预取等能力。相比增加一颗需要专门主板适配、驱动和应用迁移的小型推理芯片，AI SSD对OEM/ODM的导入路径更接近现有存储升级，新增溢价也有机会被更大容量、更少DRAM、更长上下文和更低重算共同吸收。

它对小芯片形成压力的逻辑并不是“存储替代计算”。如果一颗小芯片的唯一价值，是让有限显存或内存的计算机多跑一个3B/8B模型，AI SSD通过把冷权重、专家或KV移到Flash，可能在不改变CPU/GPU编程模型的前提下扩大同一台机器的模型与上下文容量。客户会比较两种方案的总BOM、兼容性、功耗和实际任务质量；当AI SSD方案只需数十美金的较低增量成本，需要近千美金的专门扩容型小芯片就必须证明自己在时延、能效或确定性SLO上有不可替代的优势。

但AI SSD对大芯片不是替代关系。接近万亿参数模型仍需要强大矩阵计算、低精度算子、HBM带宽、Chiplet互联和成熟编译器，SSD无法把毫秒级介质变成片上计算。更合理的组合是大芯片负责高价值计算，HBM保存最热工作集，DRAM/CXL承担可变缓存，AI SSD以更低成本保存冷权重、Adapter、专家、Prefix与Agent Memory，并通过预取让数据尽量在计算窗口关闭前到达。大芯片抬高智能上限，AI SSD提高系统可负担性，两者共同压低有效Token成本。

Mooncake已经把CPU、DRAM、SSD和NIC组织成分布式KV Cache，并由调度器结合缓存位置与TTFT/TBT目标决定请求路径；NVIDIA CMX则把Ethernet-attached Flash定义为HBM、主机内存与通用共享存储之间的上下文层，并把KV Cache管理、召回与预取放进POD级数据路径。这些端到端架构并不能证明任何单块SSD自动获得AI加速能力，却为AI SSD和存储节点提供了清晰的需求来源：Flash正在参与Token生产，而不只是保存推理结果。

三条AISSD路线：群联、江波龙与寅谱—联芸

群联aiDAPTIV代表的是“SSD产品＋中间件＋系统集成支持”路线。aiDAPTIVLink在GPU显存和aiDAPTIVCache SSD之间管理模型权重，把模型切片并流式交换，优先让活跃权重驻留VRAM、把非活跃权重放入SSD；新版本还可以保存被逐出的KV Cache，减少长上下文被淘汰后的重算。群联向系统集成商提供AI100E/aiDAPTIVCache SSD、中间件库授权和部署支持，商业上不只销售盘的容量，也销售把现有GPU系统扩展为更大模型工作站或服务器的交付能力。

这条路线的核心壁垒是成熟SSD供应、控制器与固件经验、耐久设计、模型工具链和广泛平台合作能否形成闭环。对投资者而言，最值得观察的不是某次演示中的最大模型数字，而是中间件支持多少框架与模型、客户是否愿意持续购买软件授权和高耐久SSD、系统集成商能否把方案复制到不同GPU与整机，以及权重交换和KV回载是否在P95/P99下稳定改善客户SLO。

江波龙的SPU＋iSA更强调“存储执行层＋智能调度层”。SPU在控制器附近承担无损压缩、HLC缓存与介质管理，iSA面向MoE专家卸载、KV Cache生命周期和Device Smart Prefetch作出决策，再把预取、回填、压缩和冷热迁移动作交给设备执行。这条路线试图把存储从被动块设备推向能够理解推理节奏的执行节点，其客户价值是减少DRAM占用、提高有效容量、降低整机BOM，并让端侧大模型在有限内存下更平滑运行。

江波龙路线的投资变量在于SPU和iSA能否形成可量产、可复用的产品组合。设备侧压缩、缓存与预取若只针对单一模型调优，商业规模会受限；若能够通过清晰接口适配不同MoE、KV策略和终端平台，就可能从消费级AI PC扩展到工作站、具身智能和边缘服务器。压缩比、错误预取率、尾延迟、写放大与NAND耐久需要同时验证，不能用顺序带宽代替AI性能。

寅谱—联芸代表的是从计算系统与存储控制器两侧联合定义产品的路线。这种交叉背景也带来商业上的差异化可能。联芸具备广泛NAND适配、模组量产和PC客户导入基础，寅谱则更接近AI infra、计算机体系、Runtime和OEM/ODM产品定义，两者能够同时触达存储供应链与计算系统客户。

三条路线并非简单的同类竞品。群联最接近成熟产品和软件工具链的封装，江波龙强化盘侧执行与智能调度，寅谱—联芸则从计算语义和存储量产的交界处反向定义设备。它们共同验证了一个投资方向：SSD的价值正在从NAND容量、顺序带宽和价格，向Runtime协同、对象生命周期、尾延迟、耐久和Token经济学扩展。真正的产业壁垒也会从单一主控IP，延伸到控制器、固件、算法、框架、整机和客户共同验证。

群联aiDAPTIV、江波龙SPU＋iSA，以及寅谱—联芸AISSD的三类产品路线

一级市场与二级市场应该分别看什么

一级市场要判断的是架构能否穿越从样片到客户系统的漫长链条。大模型推理ASIC的早期价值不只取决于微架构，还取决于IP授权、流片、先进封装、HBM供给、编译器、算子覆盖、模型适配和首批客户共同设计。真正有含金量的里程碑，是从仿真到样片、从单算子到完整模型、从小模型到大模型、从峰值到真实并发和尾延迟，再到OEM/ODM能够稳定出货。融资故事若跨越了其中多个环节，却没有相应验证，技术风险会被估值提前资本化。

AI SSD和存储芯片的一级市场判断稍有不同。SSD本身拥有成熟接口与出货形态，风险更多集中在新增功能能否稳定工作、是否增加不可接受的写放大与故障面、Runtime能否跨平台复用，以及客户是否愿意为Token成本改善付费。计算与存储联合研发能够降低需求翻译误差，但也需要更强的项目管理和生态协调。投资者应把主控、固件、NAND适配、中间件、整机验证和售后支持视为一个产品，而不是几条可以独立兑现的技术声明。

二级市场要看技术主题何时进入收入质量。对推理ASIC，Design Win是否转成板卡和系统出货，客户是否集中，毛利是否被高昂封装与HBM成本侵蚀，软件和云服务能否形成经常性收入，都比一次发布会的tokens/s更重要。对存储主控和AI SSD，重点则是AI产品在总出货中的渗透、ASP与毛利改善、库存和应收变化、企业级认证周期，以及定制方案是否带来更深客户粘性而非更重项目制成本。

一级与二级市场还应共同关注平台厂商的价值内化风险。云厂商可以自研TPU或推理ASIC，GPU平台可以把DPU、网络和上下文存储纳入整体系统，CPU/GPU厂商也会持续改善小模型和统一内存体验。独立芯片企业必须占据一个平台难以快速覆盖的控制点：更大的模型上限、更低的有效Token成本、关键供应链能力、跨平台软件生态、特定区域OEM渠道，或在控制器与Runtime之间形成事实标准。

计算、内存、存储：三条真正值得跟踪的主线

计算侧最重要的方向，是围绕大模型Decode、MoE和长上下文重构的推理ASIC。Token PU、TPU、LPU可以有不同实现，但都需要证明自己不是一颗脱离软件和内存系统的孤立芯片。未来的大产品更可能以Chiplet、HBM、片上SRAM、高速互联和编译器共同构成单卡级或机架级系统，并通过低精度、投机解码、专家并行和动态调度提高有效Token产出。

内存侧的方向，是HBM定制化、HBF、3D堆叠DRAM、CXL扩展与池化。HBM继续承载最热工作集，HBF尝试用NAND提供更大读密集容量，DRAM/CXL承担可变状态和共享缓存。投资机会不仅在介质本身，也在Base Die、互联IP、先进封装、内存控制器、Retimer、交换芯片和分层软件。不同层级的竞争关系不是简单替代，而是看谁能减少最昂贵的数据移动。

存储侧的方向，是AISSD、计算存储与存储节点。SNIA的计算存储架构已经为主机与设备侧计算功能建立标准化框架；Agent时代会在此基础上增加模型切片、专家/KV卸载、压缩、加密、索引、缓存目录和Agent Memory等新需求。消费级AI SSD可能以标准盘形态进入AI PC和工作站，企业级AI SSD则更可能与网络、DPU和Runtime组合成机架或POD级上下文存储节点。

最终，最值得投资的并不是某个新缩写，而是能够跨越计算、内存、存储与软件边界，把模型能力转化为客户收入的企业。大芯片决定智能上限，AI SSD与新型内存层级决定这种智能能否以合理成本进入更多设备和集群；Model Router、编译器和Runtime则决定硬件是否被真正使用。Agent时代的半导体机会，会越来越像系统工程机会。

Agent时代不会奖励所有更快的芯片，而会奖励那些让更强模型、更长上下文和更多工具调用在合理成本下持续运行的系统。小模型加速芯片仍有明确场景，但只讲3B/8B峰值吞吐、又缺少不可替代软件和客户价值的产品，既会被CPU/GPU/NPU兼容性追赶，也会受到AI SSD低成本扩容路径的挤压。

更高价值的方向，是把接近万亿参数模型带入单卡级产品的大模型推理ASIC，以及围绕HBM、HBF、DRAM/CXL、AI SSD、互联和Runtime形成的数据路径。投资者真正要追踪的不是Token有没有生成，而是Token是否有效、模型是否足够强、客户是否愿意付费，以及技术优势能否变成可复制的毛利与现金流。