智能体重新定义CPU性能：从生成Token到完成任务

过去，AI算力竞争主要围绕GPU展开，衡量标准是每秒生成多少Token、每瓦或每美元能生成多少Token。随着AI智能体兴起，这套评价体系正在发生变化。Token必须落地为行动，性能评估也要从“生成多少”转向“完成多少任务”。近日，Arm系统阐述了对这一问题的思考，并提出面向智能体AI的CPU性能评估新方法论。

CPU重回C位，智能体改变性能评价标准

根据a16z援引的OpenRouter数据，自2026年2月以来，智能体Token使用量增长约14倍。但智能体不只是生成文字，还要调用工具、执行代码、检索数据库，甚至连续工作数小时。这些操作背后，大量工作由CPU承担。

10月22日，Arm云AI解决方案架构总监Ravi Malhotra表示，智能体时代CPU正在重回计算基础设施的核心位置。

他将智能体工作流分为两部分：一是在AI机架上运行的推理与规划，主要负责Token生成；二是在CPU服务器上执行的工具调用与编排，负责将Token转化为实际行动。

在这一过程中，CPU承担三类关键任务：首先是执行操作，如代码编译、测试及数据库访问；其次是在AI头节点中承担数据准备、缓存管理与传输等工作，为GPU等加速器提供支持；第三是任务编排与沙箱隔离，将多个操作连接成完整的工作流。

以AI Coding为例，Codex、Claude Code等智能体生成代码后，还需要编译、测试和修复错误。这些工作主要由CPU承担，而且可能相当耗时。

“如果CPU不够快，更昂贵的GPU就会处于闲置状态。”Malhotra说。CPU完成任务的速度，直接影响GPU能否尽快进入下一轮推理。

不过，不同智能体对CPU的要求并不相同。Arm梳理了软件工程、企业自动化、科学研究、个人助理和机器人五类代表性用例。软件开发中的编译、测试等操作计算密集，每核运行一到两个智能体可能就已达到较合适的负载；而企业客服、个人助理等场景，单次操作较短，却需要支持大量并发，更看重吞吐量和运行效率。

此外，智能体通常需要在隔离的沙箱环境中执行任务。即使单个沙箱创建仅耗费数毫秒，在大规模并发下也会产生可观开销。

这些变化意味着，CPU性能评估不能只看单核性能和峰值吞吐量，还需要衡量在延迟、功耗及并发约束下，系统究竟能够持续完成多少任务。

从单芯片到整机架，Arm提出新测评方法

为适应这一变化，Arm在白皮书中提出了一套面向智能体AI的CPU性能评估方法论，获得富士通、Meta和OpenAI的支持。

这套方法同时关注组件级测试和端到端智能体测试。

组件级测试选择Nginx、MySQL、Milvus、vLLM及沙箱等代表性负载，衡量CPU在工具调用、数据检索、推理服务支持和任务编排等环节的表现，并尽量排除GPU推理和网络等变量的干扰。

端到端测试则引入SWE-bench、Terminal-Bench等智能体基准，评估实际任务完成情况，验证组件性能的提升能否转化为整个工作流的效率改善。

其中一个重要理念是“持续性能”：不是让CPU在短时间内跑出最高分数，而是在满足SLA（服务等级协议）的前提下，实现更高的持续吞吐量。

另一项变化，是从单颗CPU性能转向机架级性能。

“客户部署的是整个机架，而不是单颗CPU。”Malhotra解释，数据中心实际关注的不只是单芯片性能，还包括CPU能效、内存利用效率、服务器部署密度，以及一个机架在既定功耗下能承担多少工作负载。

Arm与独立技术分析机构Signal65合作的测试显示，在选定的智能体工作负载、相同机架功耗预算下，Arm AGI CPU每机架性能约为AMD第五代EPYC 9755的1.99倍。其中，工具调用类负载为1.7倍，推理与规划相关负载为2.2倍，端到端智能体测试约为2倍。

这一优势并非完全来自单核性能。测试显示，Arm AGI CPU每核及SoC层面的平均性能约高出20%，而较低的核心功耗使相同功耗预算下能够部署更多核心，进一步放大了机架级性能优势。需要注意，这些结果基于特定测试负载，并不意味着所有实际应用都能获得同等提升。

在产品落地层面，Arm已推出两款AGI CPU服务器参考设计，超微电脑、联想和华擎等合作伙伴提供相应商用平台。Arm还在推进向OCP贡献服务器参考设计，Meta Yosemite YV5也将Arm AGI CPU引入机架级设计。

Malhotra强调，Arm提出的还不是正式行业标准，也不主张以单一分数衡量所有智能体。不同客户应根据自身应用选择对应的测试负载与指标。

智能体正在改变CPU的竞争逻辑：过去比拼单颗芯片跑得多快，未来还要看整个机架在有限功耗和成本下，能够稳定完成多少真实任务。