AI 智能体正在重新定义 CPU 性能的评估标准

Arm 新闻博客

在富士通、Meta 和 OpenAI 的支持下，Arm 推出全新的 CPU 评估方法，
第三方独立验证显示 Arm AGI CPU 单机架性能可达主流 x86 服务器处理器的两倍

AI 智能体仍处于早期的发展阶段，但使用规模正快速增长。根据美国知名风险投资机构 a16z 援引的 OpenRouter 数据，自2026年 2 月以来，智能体的 Token（词元）使用量增长约 14 倍。从基础设施的角度来看， AI 智能体就像拥有持久计算环境的虚拟用户，能够持久保持状态、检索上下文、调用工具和服务、执行任务，并持续评估执行结果，直至任务完成。

当数百万甚至数十亿个智能体全天候持续工作时，计算、内存、存储和输入/输出（I/O）都必须在高并发环境下支持持续运行。这不仅对 CPU 提出了新的要求，也意味着业界需要建立新的评估标准，以测评系统处理智能体实际完成工作负载的能力。

构建面向虚拟用户的数据中心



智能体 AI 正在推动 AI 数据中心多个环节的计算需求增长。CPU 在智能体维护上下文、调用工具和访问数据的同时执行相关工作负载；在 AI 头节点（head node）中，CPU 负责作业调度、数据准备和传输以及系统调度，以确保昂贵的加速器持续保持高效运转。

与此同时，智能体还会催生更多云原生工作负载。每一次搜索、服务调用、代码执行或数据请求，都会驱动底层基础设施执行相应任务。智能体 AI 不会替代云原生工作负载，而是在现有云原生需求之上进一步叠加和放大新的需求。

随着智能体的自主性不断增强，并获得更多工具和数据访问权限，保障运行时安全的重要性也愈发凸显。主机 CPU 可专注于执行智能体工作负载，而数据处理器（DPU）及其他基础设施处理器则可为网络、存储、策略执行、遥测和隔离提供独立的控制平面。从运行云计算和智能体工作负载的 CPU，到提供安全保障和基础设施管控能力的 DPU， Arm 技术覆盖这一系统中的两大关键层面。

在本周的开放计算全球峰会（OCP Global Summit）上，这一设计趋势正逐步在实际系统中落地。Arm 正在推进向 OCP 贡献 Arm AGI CPU 服务器参考设计，而 Meta 的 Yosemite YV5 则将 Arm AGI CPU 引入 OCP 机架级设计之中。

衡量真正有意义的工作负载

CPU 性能的评估标准正在被重新定义。对于智能体计算，关键在于确保响应能力的同时, 系统能支持并发完成多少工作；对于 AI 头节点，关键在于 CPU 能否高效地保持加速器处于高利用率状态；对于云原生基础设施，关键则在于能否快速且可预测地处理每项操作。



智能体工作负载凸显了持续性能的重要性。如果吞吐量随着系统资源利用率上升而下降，那么拥有更多的理论算力并不意味着能够完成更多任务。真正重要的是，在功耗和物理条件的限制下，基础设施能够持续支撑多少实际有效的工作负载。

凭借长期服务全球超大规模数据中心的经验，Arm 对计算需求的演变有着深刻的洞察。基于此洞察，Arm 开发了一套针对智能体 AI 的全新 CPU 性能测评方法，并获得富士通（Fujitsu）、Meta 和 OpenAI 的支持。该框架基于三个原则：
•        具有代表性的智能体应用场景；
•        可重复的 CPU 性能测试方法；
•        端到端的结果验证。

组件级测试有助于排除模型推理和网络等变量的干扰，从而得以单独评估 CPU 性能；而端到端评估则可用于判断这些改进能否转化为更好的任务完成效果。

随着智能体架构和软件持续演进，这套方法论也需要持续优化。

阅读完整 Arm 方法论白皮书。

Arm AGI CPU 实测表现

基于上述方法论，Signal65 对 Arm AGI CPU 与 AMD EPYC Turin 在工具调用、编排、推理与规划等工作负载中的表现进行了独立验证。两个平台均采用相同的基准测试脚本，并基于实测的服务器级性能数据, 构建清晰的机架级性能模型。

初步测试结果显示：
•        单机架可承载近两倍工作负载：在七项工作负载测试中，得益于更高的计算密度和更优的能效表现，相较 AMD EPYC（霄龙）9755，Arm AGI CPU平均实现 1.99 倍的机架级性能。
•        在智能体工作负载中展现卓越性能：Arm AGI CPU 在多个关键智能体应用场景中的机架级性能均优于对比平台。其中，工具调用场景平均达到对比平台的 1.7 倍，智能体工作流和任务编排场景达到 2 倍，推理与规划场景达到 2.2 倍，展现出其满足智能体 AI 多样化计算需求的能力。
•        更快速、更敏捷的智能体执行：相较 AMD EPYC（霄龙）9965，Arm AGI CPU 最多可将沙箱创建时延降低 45%，帮助智能体更快启动隔离执行环境，降低智能体执行过程中的系统开销。



机架级视角至关重要，因为数据中心始终受到功耗、散热和物理空间的固定限制。尤其是在更多智能体和任务并发运行的情况下，基础设施运营商最终需要了解系统在这些限制内能够持续完成多少有效工作。

阅读 Signal65 的独立分析报告。

Arm AGI CPU 正是围绕这些工作负载特征而设计，凭借高核心密度、每核心内存配置以及高带宽 I/O 能力，支持智能体工作负载的持续运行。

随着智能体从“响应提示词”转向“持续完成工作”，评估基础设施能力的标准也应聚焦于其能否高效、稳定地完成实际工作，从单个智能体到整个机架皆是如此。更完善的测评方法可为业界提供更清晰的依据，以识别系统瓶颈、比较系统性能，并推动智能体基础设施在规模化发展的过程中持续优化。

智能体 AI 性能评估的行业观点

“随着智能体 AI 持续发展，CPU 性能评估需要突破传统指标，并能够反映真实工作负载的基准测试。在开发下一代高性能、高能效 Arm 架构 CPU 产品 FUJITSU-MONAKA 的过程中，我们深知透明、可重复且具有代表性的测评体系的重要性。富士通欢迎 Arm 推动行业协作的这一举措，并期待共同优化下一代 AI 基础设施。”
富士通高级副总裁、先进计算开发事业部负责人 Toshio Yoshida

“随着智能体 AI 进入生产部署阶段，业界需要更清晰地了解不同工作负载如何利用底层基础设施资源。我们支持 Arm 推动建立更加一致的对比标准，并相信这将有助于为系统未来的演进提供参考。”
Meta 软件工程师 Abhishek Dhanotia

“AI 系统正从生成内容逐步发展为能够通过推理、使用工具以及与软件环境交互来完成复杂任务。随着智能体能力提升并得到更广泛部署，理解支撑这些工作流的基础设施性能，包括任务编排与工具执行等环节的重要性日益凸显。围绕具有代表性的基准测试开展行业协作，对于刻画这些新兴的工作负载并优化整个 AI 系统的性能至关重要。”
OpenAI 全球前沿部署工程负责人 Colin Jarvis