SK 海力士与 Marvell 发布可将 GPU 吞吐量提升 5.5 倍的 CXL 内存模块

SKHY-4.95%
SKHYV-0.98%
ARM-6.72%

关键要点

  • SK Hynix 和 Marvell 发布了 CMM-Ax,这是一款基于 CXL 的近内存计算模块,用于大语言模型推理。
  • 在评估中,CMM-Ax 的吞吐量分别达到单个 GPU 的 5.5 倍和双 GPU 的 3.6 倍。
  • 该模块集成了 16 个 Arm 数据中心 CPU 核心,在直接于内存中处理数据时,内部带宽最高可达 200GB/s。

SK Hynix 和 Marvell 发布了 CMM-Ax,这是一款基于 CXL 的近内存计算模块,将 SK Hynix 高性能 DRAM 与 Marvell 的 Structera A 近内存处理引擎相结合。该模块将 16 个 Arm 数据中心 CPU 核心集成到 CXL 控制器中,并在直接于内存中处理数据时提供最高 200GB/s 的内部带宽。该设计面向大语言模型推理工作负载,尤其是 KV 缓存操作,通过在内存域中处理部分缓存来减少 GPU 往返延迟。在每个设备配置为 512GB 的评估中,该模块的吞吐量达到单 GPU 的 5.5 倍,以及双 GPU 的 3.6 倍。Yole Group 预测,CXL 市场将从今年约 21 亿美元增长至 2028 年约 160 亿美元,而 SK Hynix 将 CMM-Ax 定位为超越单纯容量竞争的“推理阶段智能内存”。

SK Hynix 和 Marvell 在 CMM-Ax 架构中集成 Arm 核心和 DRAM

CMM-Ax 模块架构不同于传统内存配置。SK Hynix 高性能 DRAM 与 Marvell 的 Structera A 近内存处理引擎相结合。CXL 控制器搭载 16 个高性能 Arm 数据中心 CPU 核心。当直接在内存中处理数据时,系统可提供最高 200GB/s 的内部带宽。

CMM-Ax 在大语言模型推理测试中的吞吐量达到单 GPU 的 5.5 倍

该模块的主要目标应用是大语言模型推理中的 KV 缓存处理。该方案在内存域内处理部分缓存,从而减少 GPU 往返延迟。在每个设备配置为 512GB 的评估中,其吞吐量达到单 GPU 的 5.5 倍,以及双 GPU 的 3.6 倍。

Yole Group 预计 CXL 市场到 2028 年将增长至 160 亿美元

SK Hynix 将该模块定义为“推理阶段智能内存”,将其定位为超越单纯容量竞争的解决方案。Yole Group 估计,CXL 市场将从今年约 21 亿美元扩大至 2028 年约 160 亿美元。后续验证要点包括 FMS 2026 的演示内容,以及实际服务器客户的采用时间。

常见问题

CMM-Ax 模块结合了哪些技术组件?

CMM-Ax 模块将 SK Hynix 高性能 DRAM 与 Marvell 的 Structera A 近内存处理引擎相结合,并将 16 个 Arm 数据中心 CPU 核心集成到 CXL 控制器中,在直接于内存中处理数据时提供最高 200GB/s 的内部带宽。

在大语言模型推理工作负载中,CMM-Ax 的性能与 GPU 配置相比如何?

在每个设备配置为 512GB 的评估中,CMM-Ax 在大语言模型推理 KV 缓存处理任务中的吞吐量达到单 GPU 的 5.5 倍,以及双 GPU 的 3.6 倍。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论