Micron Abaco:面向 HPC 和 AI 的机架级内存池化

MU-0.84%

关键要点

  • Micron Abaco 使用 Compute Express Link 技术,将多台服务器的 DRAM 整合为内存池,以解决 HPC 和 AI 工作负载中的内存限制;这类工作负载所需的数据集规模超过单台服务器的容量。
  • Micron 的 Crete 原型于 2025 年 7 月交付给 Pacific Northwest National Laboratory,PNNL Abaco Rack 为科学研究提供了 120TB 的共享内存基础设施。
  • 图分析测试显示,性能提升了 34 倍(运行时间从 7 小时 12 分钟缩短至 12.6 分钟);LLM KV 缓存推理的吞吐量提升了 7 倍(从每秒 30 个 token 提升至每秒 213 个 token),KV 块复用率达到 89%。

Micron 正在 SC26 展示 Abaco,这是一种机架级参考设计,利用 Compute Express Link (CXL) 技术在多台服务器间汇集 DRAM。Abaco 不再将每台服务器的内存限制为本地安装的内存,而是让多台服务器都能使用共享内存池,从而实现内存的组合、共享,并使其容量可独立于计算资源进行配置。

Abaco 面向 AI 工厂、新兴云服务商、云数据中心和 HPC 集群,这些场景中的处理器需要充足的内存容量和带宽才能保持充分利用。该架构结合了用于计算的 Supermicro 服务器、Liqid 池化内存机箱及管理软件、用于汇集高密度 DRAM 容量的 Primemas CXL 加速卡,以及作为底层内存技术的 Micron DDR5 RDIMM 模块。

Abaco 起源:从 DOE 研究到量产设计

Abaco 源于 Pacific Northwest National Laboratory (PNNL) 研究人员的工作。他们发现,图数据、分析数据和 AI 数据集大到无法装入任何单台服务器的内存。解决方案需要采用全系统方法,整合对计算工作负载的理解、系统架构、软件应用以及底层文件和存储系统层。

Abaco 的直接发展脉络始于 Crete。Micron 为 PNNL 设计并构建了 Crete,并于 2025 年 7 月交付了一套机架级原型系统。Crete 奠定了 Compute Express Link 池化内存的基础:它提供了一个大型 DRAM 池,不再与任何单台服务器绑定,而是可供多台服务器使用。PNNL Abaco Rack 在 Crete 的基础上构建,为科学研究提供 120TB 共享内存基础设施,将 CPU 和 GPU 计算与机架级池化 DRAM 相结合。该系统成为 Abaco 参考设计的基础:一种模块化池化内存架构,可针对不同容量和服务器平台进行配置。

面向数据密集型工作负载的性能

Micron 的 Abaco 团队针对图分析、生产级金融时间序列分析以及使用键值 (KV) 缓存的大语言模型 (LLM) 推理,对该架构进行了评估。测试显示,三个具有代表性的工作负载类别均获得了显著的性能提升。

在使用 Pometry Raphtory 和 Graph 500 风格分析的图分析测试中,解除本地内存和存储限制后,一次具有代表性的运行从 7 小时 12 分钟缩短至 12.6 分钟,性能约提升 34 倍。四台服务器共享同一内存池时,每台都能在约 12 至 13 分钟内完成相同任务,表明该内存池可服务四台服务器,同时不会拖慢任何一台服务器。

基于生产级 tick 分析数据的金融时间序列分析显示,在读取密集型和计算密集型工作负载中,相较于受存储限制的基准,性能最高提升 11.5 倍,相当于每美元性能提升 7.8 倍。

对于 KV 缓存 LLM 推理,在机架内两台 GPU 服务器上运行 Llama 3.1 70B,并使用 4K 至 16K token 的提示词时,通过 CXL 本地连接的池化 DRAM 吞吐量约为仅使用本地 DRAM 时的 99%,基本持平。当服务器以约 89% 的复用率共享保留的 KV 块时,输出吞吐量较未共享 KV 块的情况提升 7 倍(从每秒约 30 个 token 增至 213 个),首 token 时间则从约 311 秒降至 46 秒。

面向 HPC 和 AI 工作负载的内存层解决方案

许多领先的 HPC 和 AI 工作负载处理的数据集过大,无法高效装入本地服务器内存,其访问模式不规则,难以预测或缓存(例如图遍历会在数十亿个节点间跳转)。数据往往会被反复复用,例如热门数据库记录,或 AI 模型在每次请求时都会重新读取的上下文。当活动工作集无法装入内存时,数据就会溢出到存储中,必须进行搬移,由此产生的 I/O 延迟会拖慢作业。

将数据集分散到不同服务器上会带来性能损失,包括为了重新拼合分区而进行跨服务器数据搬移、重复存储共享数据的副本,以及闲置在无法出借内存的服务器中的 DRAM。Abaco 在本地 DRAM 和存储之间填补了空缺,提供可扩展、达到内存速度的层级,并可将其汇集成池供多台服务器共享。该内存池让大型工作数据集靠近计算资源,而不必反复在存储与计算资源之间搬移。

关键信息

  • Abaco 是一种机架级参考设计,可在机架内汇集 DRAM,使多台服务器能够访问大量内存
  • Crete 原型系统于 2025 年 7 月交付给 PNNL
  • PNNL Abaco Rack 为科学研究提供 120TB 共享内存基础设施
  • 图分析测试:用时从 7 小时 12 分钟缩短至 12.6 分钟,速度约提升 34 倍
  • 金融时间序列分析:相较于受存储限制的基准,性能最高提升 11.5 倍
  • 使用 Llama 3.1 70B 的 KV 缓存 LLM 推理:吞吐量约为本地 DRAM 的 99%
  • KV 缓存 LLM 推理:服务器以 89% 的复用率共享保留的 KV 块时,输出吞吐量提升 7 倍(从每秒 30 个 token 增至 213 个)
  • KV 缓存 LLM 推理:首 token 时间从约 311 秒降至 46 秒
  • 参考实现包括 Supermicro 服务器、Liqid 池化内存机箱、Primemas CXL 加速卡和 Micron DDR5 RDIMM 模块
  • 基准测试使用 2 路 x86 CPU、16x128GB Micron DDR5 RDIMM(2TB)、7x2TB + 1x20TB PCIe Gen5 SSD、CXL 2.0 交换机、10x1TB CXL 2.0 AIC 模块(10TB)、安装 famfs 内核更新的 Red Hat Linux 9.1
  • Micron 将在未来几个月内向客户发布 Abaco 参考设计、基准测试库、KV 缓存推理基准测试详情以及 famfs 文档

常见问题

Abaco 为 HPC 和 AI 工作负载解决了什么问题?

Abaco 解决了许多 HPC 和 AI 工作负载的数据集过大、无法高效装入本地服务器内存这一难题。它不必让数据溢出到存储(造成 I/O 延迟并拖慢作业),也不必将数据集分散到不同服务器上(产生跨服务器数据搬移开销和闲置 DRAM),而是在本地 DRAM 和存储之间填补空缺,提供可扩展、达到内存速度的层级,并可将其汇集成池供多台服务器共享。该内存池让大型工作数据集靠近计算资源,使处理器能够持续执行有效工作,而不是等待数据。

Abaco 如何实现多台服务器之间的内存共享?

Abaco 使用 Compute Express Link (CXL) 技术在机架内汇集 DRAM。参考实现结合了用于计算的 Supermicro 服务器、Liqid 池化内存机箱及管理软件、用于汇集高密度 DRAM 容量的 Primemas CXL 加速卡,以及 Micron DDR5 RDIMM 模块。该架构使内存能够独立于计算资源进行组合、共享和容量配置,让多台服务器可以访问共享内存池,而不必各自受限于本地安装的内存。

已公布的 Abaco 后续可用性计划是什么?

Micron 邀请 AI 工厂运营商、新兴云服务商、云数据中心团队和 HPC 中心使用自己的模型、数据集和应用评估 Abaco 系统。未来几个月,Micron 将陆续发布一系列资源,包括向客户发布 Abaco 参考设计及其架构和部署指南、包含配置和结果的基准测试库、包含设置和复用率等信息的 KV 缓存推理基准测试详情,以及 famfs(fabric-attached memory file system,互连式内存文件系统)文档。famfs 可让应用直接访问共享池化内存。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论