Arm AGI CPU 宣称,其在智能体 AI 领域的单机架性能是 AMD EPYC 9755 的 2 倍

ARM-4.70%
AMD-8.76%
NVDA-1.92%

关键要点

  • 根据 Signal65 的分析,在智能体 AI 工作负载中,Arm AGI CPU 的每机架性能是 AMD EPYC 9755 的 1.99 倍。
  • 在包括 MySQL、NGINX、Milvus 和 Terminal-Bench 在内的七项工作负载中,Arm AGI CPU 实现了 1.20 倍的芯片级性能优势。
  • Arm 开发了新的智能体 AI 评估方法,用于 CPU 评估,并得到 Fujitsu、Meta 和 OpenAI 的支持。

Arm 宣布,其 AGI CPU 在智能体 AI 工作负载中的每机架性能是 AMD EPYC 9755 的两倍,据 Arm 委托、由 Signal65 独立开展的一项分析显示。该结论源自基于芯片性能和服务器功耗假设的机架级建模结果,这些数据通过七项工作负载测得。Arm 在 Fujitsu、Meta 和 OpenAI 的支持下开发了一套新的 CPU 评估方法,用于评估智能体 AI 性能,并认为传统基准测试无法充分捕捉现代数据中心中 AI 智能体所需的复杂多步骤工作流。

Arm 为智能体 AI 工作负载开发新的 CPU 评估方法

Arm 提议的方法以具有代表性的智能体工作负载、可重复的 CPU 测量以及端到端任务结果验证为核心。该框架确定智能体所使用的工具和服务,在受控条件下测量它们的 CPU 性能,并检查性能改进是否有助于智能体完成任务。Arm 提议重放记录的智能体操作,以将 CPU 性能与模型推理和远程服务引入的变化分离开来,从而让不同系统执行一致的工作序列。

该方法解决了 CPU 如何处理智能体 AI 系统中复杂工作流的问题。除由加速器处理的推理外,AI 智能体还会在隔离环境中执行工具、检索数据并维护状态。CPU 负责处理周边工作负载,包括运行工具、响应数据库或 API 请求、准备数据以及协调加速器的工作。Arm 认为,CPU 性能越来越取决于系统在保持响应能力的同时能够持续完成多少有用工作,而功耗、散热和物理空间限制了机架规模的硬件部署。

Arm 在其 AGI CPU 和 AMD 的 EPYC 9755 上运行了七项工作负载,涵盖工具、智能体工作流以及推理和规划。这些测试将成熟的服务器应用与专注于智能体工作流的基准测试结合起来:用于事务数据库的 MySQL、用于处理 Web 和 API 请求的 NGINX、用于向量搜索的 Milvus、在沙盒容器中覆盖 72 种智能体任务类型的 Terminal-Bench 2、包含 259 项软件工程智能体工作流任务的 SWE-bench replay、用于 CPU 词表示训练的 fastText,以及在绕过模型计算的情况下测量 CPU 服务开销的 vLLM。

AGI CPU 在七项工作负载基准测试套件中胜过 AMD EPYC 9755

Arm 使用了两种 AGI CPU 配置:一款用于 Terminal-Bench 2 和 SWE-bench replay 的 128 核、2.8 GHz 芯片,配备 DDR5-7200;以及一款用于其他五项工作负载的 136 核、3.2 GHz 芯片,配备 DDR5-8000。AMD 对比配置使用了 128 核 EPYC 9755 的一个插槽,配备 DDR5-6400。两个平台运行相同的基准测试脚本,但使用了不同的软件环境:Arm 使用定制的 Linux 7.1.3 构建版本,而 AMD 的配置使用 Ubuntu 24.04 和 Linux 6.8。

在芯片层面,Arm 的 AGI CPU 在七项测试中的五项中胜出。以 EPYC 9755 为基准,Arm 在 Terminal-Bench 上领先 9%,在 SWE-bench 上领先 13%,在 fastText 上领先 97%,但在 MySQL 和 Milvus 吞吐量方面分别落后 12% 和 5%。在七项归一化性能比值中,AGI CPU 的平均单芯片性能为 AMD 的 1.20x。

在机架层面,Arm 的建模性能平均为 AMD 的 1.99x,并在全部七项工作负载中领先。该模型采用的额定服务器功耗估算为:128 核 Arm 配置 950 W,136 核版本 1,050 W,AMD 为 1,700 W,其中包括内存和其他系统组件。在为网络和配电从 24 千瓦机架预算中预留约 8% 后,剩余空间可容纳 23 台或 21 台 Arm 服务器,以及 13 台 AMD 服务器。对于 SWE-bench,机架级 2.00x 结果通过将约 1.13x 的芯片级结果乘以 23/13 得出,增益更大是因为相同功耗预算下可以容纳更多服务器。

Signal65 远程观察了 Arm 的测试运行,并检查了原始日志、结果文件、脚本和配置记录。一个独立审查团队使用自己的代码重新进行计算,并将全部七项结果复现到 0.5% 以内。不过,Signal65 没有在自有实验室中单独重新运行硬件测试。Signal65 只能独立确认 EPYC 9965 系统的 BIOS 和内存设置,而 Arm 系统和 EPYC 9755 系统的这些设置无法进行独立验证。

Arm 的方法与 AMD 和英伟达的评估方式不同

AMD 将每瓦、每美元和每机架的智能体数量作为评估指标。其 EPYC 9006 页面脚注将可用 CPU 线程数确定为智能体容量的代理指标,同时指出实际吞吐量取决于工作负载和系统。AMD 的另一项工作负载分析对 100 千瓦机架进行建模,并声称 EPYC 9965 的性能是英伟达 Vera 的 2.37x,该结果采用六项基础设施工作负载的等比平均值。

英伟达强调 Vera 的单线程性能和内存带宽,并表示一个 256 CPU 机架支持超过 22,500 个并发 CPU 环境。不同制造商的方法会因工作负载、功耗假设和汇总方式而有所不同。本次比较的对象是 AMD 第五代 Turin 处理器,其拥有 128 个核心;而 AMD 今年推出了专用于智能体 AI 的第六代 EPYC 9006 Venice 系列。

常见问题

Arm 声称其 AGI CPU 相比 AMD EPYC 9755 具有什么性能优势?
Arm 声称,其 AGI CPU 的单芯片性能为 AMD EPYC 9755 的 1.20x,单机架性能为 1.99x;该结论基于 Signal65 独立分析中测得的七项智能体 AI 工作负载的建模结果。

Arm 使用了哪些工作负载来测试其 AGI CPU?
Arm 测试了七项工作负载:用于事务数据库的 MySQL、用于 Web 和 API 请求的 NGINX、用于向量搜索的 Milvus、包含 72 种智能体任务类型的 Terminal-Bench 2、包含 259 项软件工程任务的 SWE-bench replay、用于 CPU 训练的 fastText,以及用于测量 CPU 服务开销的 vLLM。

Arm 的评估方法与 AMD 的方式有何不同?
Arm 的方法侧重于具有代表性的智能体工作负载、可重复的 CPU 测量以及针对端到端任务结果的验证;AMD 则推广每瓦、每美元和每机架的智能体数量,并使用可用 CPU 线程数作为智能体容量的代理指标,同时指出实际吞吐量取决于工作负载和系统配置。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论