如何评估智能体CPU性能？Arm提出全新测评方法论

芯东西（公众号：aichip001）
作者 ZeR0
编辑 漠影

芯东西10月27日报道，近日，Arm云AI解决方案架构总监Ravi Malhotra向芯东西等媒体分享了Arm针对智能体AI开发的一套全新CPU性能测评方法，并将这套方法论总结在新发布的《如何为智能体AI定义CPU和软件栈性能》白皮书中。

在智能体AI出现之前，AI领域主要以Token生成来衡量性能，即每秒Token数、每瓦Token数和每美元Token数。智能体AI改变了这一点，要求生成的Token能够在真实世界中得到切实应用。这意味着不仅要从Token的角度评估性能，还要从智能体及其所执行任务的角度来评估性能。

行业中涌现的热门智能体AI应用覆盖软件开发、个人助理、企业运营、科学研究、机器人技术等类型。每类用例的需求各不相同。

总体来看，智能体任务可分为两个阶段：

一是Token生成，即推理与规划，通常运行在AI机架上，重点是大规模生成Token，并为智能体所需的上下文和数据解读提供足够的内存与存储空间。

二是基于Token采取行动，即工具调用与编排，通常运行在纯CPU服务器上，相关服务器和机架仍需满足规模化部署与稳定运行的基础设施要求。

关键问题在于，什么样的CPU才能更好地承载这类工作负载？

Arm在《如何为智能体AI定义CPU和软件栈性能》白皮书中提出了一种不同的智能体AI性能评估思路。其方法论主要包括两个部分：从组件角度出发的基准测试与端到端智能体基准测试。

测试Web服务器、数据库或模型服务的开销能反映单个组件的表现，但无法反映这些组件在智能体工作流中是如何连接并协同运行的。这就需要智能体基准测试发挥作用，为评估端到端的智能体工作流提供有代表性的参照。

这些组件基准和智能体基准对CPU进行了不同面向的测试评估。例如，工具调用类组件侧重于IPC（每周期指令数）、I/O和并发；编排更强调CPU并发和利用率；推理与规划重点测试CPU是否具备提升单线程性能的能力，包括分支预测、缓存、内存延迟和内存带宽。

端到端智能体基准测试更关注可扩展性和并发性。性能评估不能只看单颗CPU能够承载多少智能体，也不能单纯追求最高吞吐量，还需要在吞吐量与SLA（服务等级协议）要求之间取得平衡。这就是Arm强调的持续性能。

对于软件开发工作负载，每个核心运行一到两个智能体可能已经足够，进一步增加并发智能体数量则可能无法满足SLA要求。企业运营或个人助理类的工作负载可支持更多并发智能体，关键仍在于如何平衡吞吐量与SLA，这要求兼顾单核性能和整颗CPU的扩展能力。

Arm不仅关注CPU层面的性能，还关注机架层面所交付的性能。Ravi Malhotra称，Arm CPU的设计原则是在提升性能的同时，不以增加功耗为代价，更注重兼顾核心层面的性能、服务器层面的可扩展性和机架层面的效率，而x86架构或其他CPU通常倾向于强调其中的某一项参数。

与Arm合作的独立技术分析机构Signal65发布的一份独立报告，对比了Arm AGI CPU与第五代 AMD EPYC（霄龙）处理器（代号“Turin”）在智能体工作负载上的性能，重点关注Arm AGI CPU所带来的效率、可扩展性和性能平衡。

报告显示，对于所评估的智能体工作负载，在相同功耗预算下，Arm AGI CPU的每机架性能约为AMD EPYC（霄龙）9755的1.99倍；从工具调用的角度来看，达到对比平台的1.7倍；在向量数据库、缓存等推理与规划类应用上，达到对比平台的2.2倍；从端到端智能体基准结果来看，是对比平台的2倍。

Arm在工具调用方面，选择了用于web服务的nginx和用于数据库的MySQL；在推理与规划方面，选择了向量数据库Milvus和模型服务框架vLLM，还选择了fastText作为数据处理基准；在编排方面，测量了沙箱执行开销，测试选取了Docker、Firecracker和gVisor等多种沙箱技术，评估每个智能体在沙箱环境中运行所付出的额外性能成本。

在智能体基准方面，Arm选择了最热门的应用类别之一——软件开发，并选用SWE-bench和Terminal-Bench作为软件开发工作流的代表性参照。平均而言，Arm AGI CPU在每核及CPU SoC层面的性能都约高出对比平台20%。

Arm AGI CPU的关键优势之一不仅在于性能，还在于效率和可扩展性。由于每个核心的功耗更低，它在相同的机架功耗预算下可以部署更多核心。将每核及每颗CPU的性能，与每机架更多的核心数量结合起来，就带来了约2倍的机架级性能优势。

沙箱开销常被视为智能体AI应用所要承担的一种成本负担。出于数据和隐私方面的考虑，用户希望每个智能体都在隔离的环境中执行，但创建沙箱并让它准备好运行任务需要时间。

因此，Arm对创建这些沙箱容器所需的时间进行了基准测试，测试了不同场景，包括冷创建和热创建，也测试了多个容器在同一个物理核上并行运行、从而形成超额订阅的场景。沙箱开销越低，系统在相同时间内能处理的客户支持工单就越多，进而提升整体效率，并降低单个任务的成本。在不同的场景中，Arm AGI CPU上的开销成本远低于AMD EPYC （霄龙）处理器。

Arm正以不同的产品形态将Arm AGI CPU的这些能力推向市场，有两款服务器参考设计——Arm AGI CPU 1OU双节点服务器参考设计和Arm AGI CPU 2U2P服务器参考设计。其合作伙伴包括超微电脑（Supermicro）、联想（Lenovo）、华擎科技（ASRock），提供一系列不同尺寸和配置的量产平台和商用服务器。在这类用例中，Arm AGI CPU作为头节点，与客户选用的加速器协同工作。机架层面同样有不同的风冷和液冷解决方案。

结语：智能体CPU性能评估看用例

智能体AI对于CPU性能评估层面带来的最大变化之一，是更关注组件如何以高效的方式组合在一起并实现智能体AI的运行。在用例不断演进的情况下，为每个用例选择不同的CPU并不是一种可扩展的模式。

Arm建议不要只关注单一分数，而应综合考察各个组件的表现，根据自己的用例来评估CPU平台，先判断用例类型，再据此选择相应的端到端智能体基准和组件。