智能体AI时代CPU怎么选？Arm提出全新评测标准！

过去两年，AI算力的叙事几乎被GPU垄断，CPU一度被视为“配角”。但当AI从“聊天生成Token”进化为能自己写代码、查数据库、跑流程、调用工具的智能体AI（Agentic AI）时，一个被忽视的问题浮出水面：Token生成得再快，如果CPU来不及把Token变成行动，昂贵的GPU就只能闲着。这也正是Arm亲自下场、推出自研面向智能体AI的AGI CPU的关键原因所在。

近期，第三方机构 Signal65 的实测数据显示：在同等功耗预算下，其AGI CPU在智能体工作负载上的整机架性能约为AMD EPYC 9755的2倍，单核性能平均领先约20%。但比这些数字更值得关注的，是Arm试图重新定义智能体AI时代“CPU性能该怎么测”这件事本身。

一、从Token到任务：智能体AI改变CPU性能评价方式

智能体AI出现之前，业界比的是tokens per second、tokens per watt、tokens per dollar；而智能体AI的要求则是“生成的所有token都要在真实世界中被使用”。换句话说，衡量设备智能体AI性能的计量单位从过去的“生成了多少token”，变成了“智能体完成了多少任务”。

在Arm看来，智能体任务可以拆分成两段：一段是“推理与规划”，即token生成，主要跑在AI加速机架上，拼的是大规模token产出和承载上下文的存储能力；另一段是“工具调用与编排”，即把token变成行动，主要跑在服务器CPU上——这也正是Arm目前瞄准的战场。

Arm基于行业研究，结合哪些应用受用户欢迎、以及大型厂商构建且被数百万用户采用的真实应用的活跃度，选取了五类正在爆发的智能体用例：软件工程、企业自动化、科学研究与金融分析、个人助理、机器人。这五类场景对硬件的诉求截然不同。例如，软件工程中的代码编译与测试极其消耗CPU周期，追求“每智能体性能”；而企业客服或个人助理的动作短小高频，更看重系统的并发吞吐量。

显然，智能体需要的是能够平衡吞吐与SLA（服务等级协议）的“可持续性能”。如果用一个笼统的性能跑分分数去衡量所有场景，本身就不合理。因此，客户用单一跑分来做选型决策也是不明智的。

Arm 云 AI 解决方案架构总监 Ravi Malhotra强调：“没有两个智能体是一样的。每个客户的应用和希望智能体完成的任务都不同，我们建议客户判断自己落在哪一类原型中，再据此选择端到端智能体基准和相应组件，而不是采用某一个加权总分。”

二、从组件到整机架：Arm如何构建评测方法论

Arm提出的智能体AI CPU评测框架分两层。

第一层是组件级基准，比如Web服务器、数据库、模型服务开销——“这些对精确理解某一环节很重要，但它无法告诉你这些组件怎么被拼在一起、以智能体方式运行。”

第二层是端到端智能体基准，比如Terminal-Bench、SWE-bench，作为真实工作流的“代理指标”。

Arm还拆解了不同组件对CPU的差异化压力：工具类更看重单核执行效率、I/O与并发；编排类更依赖并发与利用率；推理规划在CPU承担头节点时更依赖分支预测、缓存、内存延迟与带宽；端到端基准则看可扩展性与并发能力。

由此Arm抛出“持续性能”（sustained performance）概念：不是把尽可能多的智能体塞进单颗CPU去刷绝对吞吐，而是在吞吐与SLA之间找平衡。“Terminal-Bench这类场景，每核跑一到两个智能体就够了，再往上就破坏SLA；企业或个人助理可以并发更多，但核心始终是平衡。”这实际上是在批评一种常见的营销手法——用极端并发下的峰值吞吐掩盖单核性能的短板。

这一框架也解释了Arm为何坚持“看整机架而不是看单芯片”。面对记者“为什么不比单颗SoC”的追问，Arm的回应直指采购现实：客户在数据中心部署的是整个机架。“单CPU对比说不清效率、内存利用、服务器级降本和功耗优化，也体现不出单机架能放多少服务器。我们的优势不是最大的CPU，而是核级性能、服务器级扩展性和机架级效率的平衡。”

Arm同时厘清了CPU在智能体时代的角色：一是把token转化为行动（编译、测试、访问数据库）；二是为token生成服务，管理KV cache和向量数据库、尽快把数据喂给加速器；三是编排与沙箱隔离，把生成和行动串成完整流水线。

三、Signal65实测：整机架性能达竞品近两倍，AGI CPU优势从何而来？

Arm还公布了来自Signal65对于Arm AGI CPU与AMD EPYC Turin CPU的独立实测报告。得出结论是：相同功耗预算下，AGI CPU智能体负载的整机架性能为AMD EPYC Turin CPU的2倍。

按各分项的机架性能来看，工具类组件（Nginx、MySQL）1.7倍，推理与规划类组件（Milvus、vLLM、FastText）2.2倍，端到端智能体基准（SWE-bench、Terminal-Bench）2倍；单核与单SoC性能平均领先约20%。

Arm还特别强调了“2倍”是怎么来的：不是造了一颗最大的CPU，而是每核功耗更低，单机架因此能塞进更多核心；再叠加单核性能平均领先约20%，把每核性能乘以更高的核数，才得到整机架的2倍。这套效率叙事的技术根基，Arm在问答中追溯到2018年推出Neoverse时与超大规模云厂商的合作——当时明确了SQL数据库、缓存、ML推理、视频编解码等云端负载需求，据此持续优化核心与mesh架构的微架构，从Neoverse N1到 Neoverse V3（AGI CPU所用核心即属Neoverse V3），原则是“提性能不牺牲功耗”。

四、智能体基础设施的隐藏成本

另一个被Arm称为“隐藏税”的战场是“沙箱创建”开销——智能体出于数据隔离需要在沙箱中运行，而在冷启动、热启动、同核超订并行等多场景测试下，AGI CPU的“沙箱创建”开销都明显低于AMD EPYC Turin。

Ravi Malhotra 解释称，企业客服这类高并发场景，“沙箱开销”低意味着同一时间能处理更多工单。他还把这一优势进一步落到分工问题上：CPU、GPU、DPU如何避免头节点瓶颈，要看用例的操作特征——软件开发智能体长期运行、上下文堆积，需要大KV cache和大内存存储；企业客服上下文少、任务短、模型简单，更该优化向量数据库。这些变量直接决定基础设施选型和规格。

产品落地方面，Arm已推出1OU双节点参考服务器和2U双路参考服务器，商业侧有超微、联想、ASRock等伙伴的服务器，机架级覆盖风冷与液冷、19英寸与Open Rack双宽形态。

五、网络变量与标准之争：Arm方法论的下一个悬念

在实测之外，这套方法论的边界在哪？

Ravi Malhotra 承认，CPU与GPU机架之间的网络连接也很重要。Signal65的测试只测了CPU部分，“一旦把GPU纳入，端到端测试会非常复杂”。

Arm预告，后续的研究报告会补充CPU-GPU机架间带宽、时延数据，以及DPU为何越来越重要。这也回应了业界对CPU性能与GPU利用率关系的关切——以软件开发为例，模型推理出代码后，CPU要做构建、编译、测试，耗时很长。“CPU多快干完自己的活，决定了控制权多快交回更贵的GPU。CPU不够快，GPU就闲置，没有客户想要这个。”这也正是业界对CPU性能与GPU利用率关系的关切所在。

面对“Arm、AMD、Intel各有各的智能体CPU基准，行业离公共标准更近还是更远”的尖锐提问，Arm澄清：“我们目前给的是方法论，而非某一个特定基准。”换言之，Arm希望先确立评测思路，再谈标准统一。

Arm强调，需要关注两点：一是对与智能体用例相关的各组件给予同等重视；二是关注由行业领导者和顶尖高校开发的端到端基准。

“智能体AI最大的变化，不是组件，也不是最快批量生成token，而是这些组件如何以智能体方式协同。”Signal65只是方法论的独立验证样例，最终建议客户别只看一个分数，要看结果是否与自己的用例相关。至于方法论会不会随架构演进更新，Ravi Malhotra笑称“每隔一两周就冒出一个新基准”，会持续跟踪并分享洞见。

小结：

Arm这套智能体AI时代的CPU评测方法论的本质，是把CPU性能评价从“芯片参数竞赛”拉回到了“部署经济学”。

在AI数据中心被电力、散热、机架容量死死卡住的当下，用整机架、同等功耗的“持续性能”来衡量，确实比单芯片跑分更贴近超大规模客户的采购逻辑，也为Arm在x86把持的服务器CPU市场撕开了一个差异化口子。

Arm提出的智能体AI CPU评测方法论，核心是把CPU性能评价从单芯片参数和峰值吞吐量，拓展到任务完成效率、持续性能、整机架资源利用率和实际部署成本。

但我们也要看到，Arm的这套方法论目前高度依赖第三方独立报告和仍在快速迭代的新兴基准，端到端智能体基准本身尚无行业共识，这也意味着目前还没有一个可被全行业复用的统一标尺。CPU与GPU机架间的网络、DPU的角色，这块拼图能否补上，将决定这套方法论是停留在“Arm版评测叙事”，还是真能推动行业形成共识。

不过，至少从这份报告来看，Arm已经把问题从“我的CPU多快”换成了“你的智能体跑完任务要花多少钱”，这也是客户更为关注的现实。

编辑：芯智讯-浪客剑