下一代AIDC，不只是更大的数据中心

作者：陆易斯 / 数智猿

过去两年，AI基础设施竞争主要围绕一个问题展开：如何获得更多GPU，并将其组成规模更大的训练集群。为了提升模型参数规模和能力上限，科技公司持续增加芯片数量，并通过高速网络构建大型计算集群。

然而，随着AI全面进入企业级落地和实际业务应用阶段，算力需求的重心正在从集中式训练进一步向更加持续、分散的推理与执行延伸。基础模型预训练固然重要，但后训练、长链条推理、多Agent协同调用以及自动执行，正在对算力提出新的要求。

在亚洲数据中心峰会（Data Center Asia，DCA 2026）上，市场研究机构Omdia指出，AI服务正呈现三大转变：从聊天机器人走向多Agent；从单步回答走向长链思考；从人工触发走向Agent自主执行。

负载特性的改变，倒逼着算力底座的架构升级。传统AI数据中心建设往往只需回答“能塞进多少张GPU”，而下一代AIDC则必须解决不同任务之间如何高效共享资源、海量数据如何快速抵达计算单元，以及推理算力如何部署到更靠近业务端的位置。AIDC面对的核心问题，也因此开始从扩大算力规模，转向如何更有效地配置和使用算力。

亚洲数据中心峰会现场，来源：DCA

大多数AI项目不再自己训练

数据中心反而不够用了？

大模型浪潮初起时，算力需求高度集中于基础模型预训练。要做出更强的底座模型，就需要更多的GPU，以及规模更大、通信效率更高的计算集群。进入企业应用阶段后，AI负载开始出现更明显的分化。基础模型公司仍在持续预训练；企业则通过蒸馏、LoRA等方式进行后训练，让通用模型适应具体场景；与此同时，Agent、多工具调用和实时推理不断增加，也带来了更多持续运行、动态变化的任务。

Omdia高级专家分析师Raymond Zhan在DCA大会演讲中表示，2025年，不少基础模型厂商仍将大量算力投入预训练，希望通过扩大参数、数据和训练规模推动模型能力跃升；当进入2026年后，随着多个前沿模型在部分基准测试中的能力差距逐渐收窄，继续扩大预训练规模所带来的边际收益，也开始受到审视。

Omdia高级专家分析师Raymond Zhan接受数智猿记者采访，来源：DCA

这并不意味着预训练不再重要，而是它不再单独决定AI数据中心的架构。相比需要数万张芯片组成大型集群的预训练，企业后训练的单次规模通常更小，但任务更多、并发更高；推理则随着用户持续使用AI不断产生，负载更加连续，也更具波动性。因此，下一代AIDC不能只追求单个计算集群的最大规模，而是根据不同任务的规模、时段和服务要求灵活分配资源。

Raymond Zhan指出，随着推理任务持续增长，变化的不只是资源调度方式，数据中心对“性能”的要求也在发生改变。

传统模型问答首先关注的是能否生成正确答案。Agent进入企业业务后，则需要读取更长的上下文，调用数据库、搜索、办公软件等工具，并在较少人工干预的情况下连续执行任务。模型不仅要“回答正确”，还要在业务要求的时间内完成整项工作。

因此，响应速度本身也开始成为AI基础设施的重要指标。Raymond Zhan特别提到，TTFT（Time to First Token，首Token延迟）现在是评估Agent和企业级应用的关键指标。同时，推理过程中的预填充和解码，对计算密度、内存带宽、数据吞吐和存储调用也提出了不同要求。

除了首个Token响应时间和推理吞吐量，AI基础设施还开始关注一个更综合的指标：单位能耗能够产生多少Token，如香港华为数字能源业务首席技术官梁以文提到的“每瓦Token”。其衡量的不是芯片在理想状态下能够完成多少计算，而是同样的能源投入最终能够转化为多少有效AI产出。而模型结构、芯片性能、缓存命中率、网络通信和任务调度等因素，也都会影响Token产出。

因此，下一代AIDC的效率不能只由单块GPU或单个设备决定，还要从计算、存储、网络和散热等环节进行整体衡量。AIDC的性能目标也正在从“拥有多少算力”，进一步转向“用多少资源，持续产生多少有效Token”。

园区规模迈向百兆瓦乃至吉瓦以后，这个问题会更加突出。

润泽科技在DCA大会上提出，吉瓦级智算园区的工作负载并非全部用于模型训练。按照其分享的一种典型结构，并行训练约占整体负载的20%至30%，海量推理可能超过50%，其余资源则用于研发及未来算力储备。

来源：DCA

这组比例并非为AIDC提供统一模板，而是说明，超大规模智算园区已经不能简单复制训练型数据中心。由于不同负载对计算、网络、存储和冷却的需求并不相同，园区需要进行合理分区，并通过统一调度灵活分配资源，以同时承载训练、后训练和不断波动的推理需求。

规模越大，AIDC就越不能依赖固定配置。那么，数据中心究竟应该配置多少GPU、采用怎样的网络架构，又该如何安排不同类型的计算资源，不能只从设备供应侧寻求答案。

未来的润泽（香港）沙岭数据园区，来源：润泽科技

Pivotale AI全球GTM战略顾问Maury G在大会及接受数智猿采访时提出，企业建设AI基础设施时，最昂贵的错误往往不是少买了GPU，而是在没有评估现有资源、目标应用和工作负载之前，就开始投入大量资金采购设备。

这也是Pivotale AI提出Define、Design、Deploy（定义、设计、部署）的核心逻辑：“先弄清企业已经有什么、需要什么，再确定真正需要补足的部分，最后才进入基础设施设计和部署。”从这个角度看，AI基础设施建设正在从“先配置资源”，转向“先定义负载”。

在GPU紧缺时期，“先拿到卡再说”或许是一种资源策略；而当进入推理时代，却可能成为基础设施错配的起点。过去是有什么算力就做什么，现在则要先知道要做什么，再决定需要什么算力。

GPU之外

AIDC还要重新组织存储与数据

随着AI任务从集中式训练走向持续推理，影响基础设施效率的因素也不再只是GPU本身。对于越来越复杂的Agent任务而言，计算单元需要处理的数据量不断增加，数据如何被存储、调用并及时送达，也开始影响整个推理过程。

企业Agent执行一次任务，可能需要反复读取用户提示词、历史对话、企业知识、中间结果以及外部工具返回的数据。当上下文变长，需要处理和调用的数据也随之增加。如果每次推理都从头处理相同内容，不仅响应时间会延长，GPU、内存和Token消耗也会增加。

深圳忆联信息系统有限公司副总裁王谦在大会上以 KV Cache 为例指出，存储已不再只是模型和数据集的“仓库”，其已开始直接参与AI的推理过程。

王谦表示，大模型处理上下文时，会产生用于后续Token生成的中间状态。KV Cache将这些数据保存下来，使模型后续推理时不必反复处理相同内容。对于长文本、多轮对话和持续运行的Agent，缓存复用越充分，重复计算就越少，推理效率也越高。

忆联（Union Memory）展示其存储类的产品，来源：数智猿现场拍摄

随着上下文长度和并发量增加，KV Cache对内存容量和数据访问效率则提出更高的要求，如何在性能、容量与成本之间取得平衡，也成为推理基础设施需要解决的问题。这也使存储从数据保存环节进一步进入计算过程。不同频率的数据需要由不同层级的存储承载，关键在于这些数据能否及时送达计算单元。

如果网络和存储无法跟上，GPU即使拥有很高的理论性能，也可能因为等待数据而闲置。因此，存储在下一代AIDC中的价值，不只是提供更大的容量，也开始直接影响GPU利用率、首Token延迟、推理吞吐量以及单位Token的资源消耗。

Rakuten Capital管理合伙人Saemin Ahn对下一代AI基础设施的观察，也不止于某一种芯片或存储设备。他认为，GPU、模型、推理框架、量化、蒸馏、强化学习以及KV Cache优化等环节，过去往往由不同公司和工具分别提供。随着AI进入大规模应用，这些原本分散的“工具和铲子”，正在逐渐向一套更完整的AI基础设施整合。

Rakuten Capital管理合伙人Saemin Ahn在论坛上发言，来源：DCA

在第一轮AI基础设施竞争中，市场更关注GPU数量和集群规模。而当推理负载增加，模型优化、重复计算、缓存管理和资源调度，也开始直接影响同一套硬件能够完成多少实际任务。对AIDC而言，提供裸算力已经不够，关键在于如何让计算、存储、网络和软件围绕负载高效协同起来。

因此，下一代AIDC的竞争正在从单点性能转向系统协同。AIDC的效率越来越取决于算力如何被使用，而不只是算力本身有多大。

当算力走向分布式

NeoCloud将填补什么位置？

当AI负载从集中式训练扩展到持续推理，算力部署的位置也在发生变化。基础模型预训练、大规模模型对齐和国家级模型仍需要集中式超大集群。大型园区能够集中土地、电力、冷却和高速网络资源，更适合长时间运行高强度计算任务。

但推理并不一定适合全部集中在同一座吉瓦级园区。金融交易、自动驾驶、机器人和企业Agent等应用，对响应速度、数据位置和连续运行提出了更高要求。如果所有数据都传输至远距离的中心数据中心处理，再将结果传回业务现场，网络往返时间可能影响用户体验，甚至难以满足实时应用的要求。

因此，Omdia认为，下一代AI基础设施更可能形成一种混合模式：中心集群承担预训练和高强度后训练，区域AIDC承载大规模推理，边缘节点则服务对实时性和本地化要求更高的应用。

Omdia首席分析师Lian Jye Su在DCA大会上表示，AI基础设施的部署位置应该由应用需求决定，而不是默认所有计算都集中在中央云。部分应用需要更靠近数据源和用户，以获得更低的延迟和更稳定的推理能力，这也将推动电信运营商和数据中心企业部署更多距离用户更近的计算节点。

Omdia首席分析师Lian Jye Su，来源：DCA

不过，推理走向分布式，并不意味着所有模型都会部署到终端。手机、PC及其他边缘设备仍受到芯片性能、内存容量和模型规模等限制，不同任务仍需要在中心、区域数据中心和边缘节点之间进行分配：复杂推理由中心或区域数据中心承载，对实时性要求更高的任务则进一步靠近用户和数据源。

中国移动国际从运营商角度提出了“本土集中训练+区域就近推理”的混合算力需求。大规模训练集群可以部署在电力、土地和成本更具优势的地区，低延迟推理节点则更靠近终端用户，由骨干网络连接不同区域，并通过平台统一纳管异构算力。

中国移动国际DICT中心总经理纪涌表示，中移动国际已经通过多云纳管平台连接多家公有云，并进一步探索对行业云、主权云及不同类型算力资源的统一管理。在此基础上，AI Hub负责模型的连接与分发，算力广场聚合不同地区的算力资源，应用平台则进一步向企业交付Agent和行业应用。

当算力开始从单一数据中心向不同区域分布，新的问题也随之出现：分散的GPU、存储和网络资源，如何被统一调度，并以AI基础设施的形式交付给企业？

这也是NeoCloud进入这一轮基础设施演进的切入点。

传统云主要面向通用IT负载，而NeoCloud更聚焦AI训练与推理。它提供的也不只是GPU资源，而是围绕模型部署、推理、网络、缓存和资源调度，将分散的算力组织成面向AI负载的基础设施服务。随着AI应用从集中训练走向持续推理，云平台面对的也不再只是“提供多少算力”，还要考虑模型如何部署、Token如何生成，以及不同区域的资源如何协同。

Maury G认为，NeoCloud并不是传统云的替代品，而是围绕AI负载形成的另一类基础设施服务，两者更可能长期共存。

Pivotale AI全球GTM战略顾问Maury G讲述NeoCloud的发展趋势，来源：DCA

这种变化也在改变大型云平台的服务边界。阿里云高级解决方案架构经理马广牧在DCA大会上提到，AI原生时代的云服务正在从提供计算、存储和数据库资源，进一步延伸至模型和Token。对于AI应用而言，用户最终获得的也不再只是一个计算实例，而是模型能否快速加载、能否及时生成第一个Token，以及推理任务能否稳定完成。

马广牧认为，云平台需要开始关注从模型部署到Token生成的完整链路，网络、缓存、预填充和解码等环节也被纳入基础设施优化范围。数据中心、芯片、模型平台与Token服务之间的边界，因此变得更加模糊。

来源：Mark Hirsch（linkedin）

我们从基础设施链条来看，AIDC更接近算力的物理承载端，提供GPU、CPU、存储、网络、供电和冷却等基础设施；而NeoCloud则更接近算力的组织和交付端，将不同AIDC、云区域和边缘节点中的资源连接起来，根据AI负载进行调度，并向企业和开发者提供服务。

两者并非简单的并列或替代：AIDC解决的是算力如何承载，NeoCloud进一步解决的是算力如何被连接、调度和交付。

下一代AIDC

改变的本质是算力组织方式

回到本文开端，我们回顾了AI基础设施首先解决的是“有没有足够的算力”：更多GPU、更大的集群，以及与之匹配的供电、网络和散热。

而当AI从集中式训练走向持续推理，基础设施面对的问题也开始变化。算力需要匹配不同类型的负载，并在中心集群、区域AIDC与边缘节点之间重新分配。GPU之外，存储、网络、缓存和调度也开始直接影响AI任务的实际效率。

因此，下一代AIDC的变化并不只是规模继续扩大，而是从“建设算力”进一步走向“组织算力”。AIDC负责承载计算资源，NeoCloud等平台则连接和调度分散的算力，让不同位置、不同类型的资源能够服务不断变化的AI负载。数据中心由此不再是孤立的算力节点，而成为整个AI基础设施体系的一部分。

未来的数据中心仍然需要更大的园区、更高的供电能力和更密集的计算集群，但真正决定效率的，不只是这些硬件能够提供多少算力，更在于这些算力能否被合理配置、灵活调度，并持续支撑真实的AI任务。AI负载的变化，正在推动AIDC从单纯的“建设问题”，走向更复杂的“组织问题”。