Marvell 光子互连架构实现 350 纳秒延迟的 AI 共享内存

SKHY-4.39%
SKHYV-0.98%
NVDA-1.92%

关键要点

  • Marvell 实施了光子互连技术,在 AI 机架之间实现了 350 纳秒延迟和每秒 7.2 太比特的带宽。
  • Marvell 的光学共享内存解决了 KV 缓存扩展问题,最大距离达到 30 米,同时保持接近 NUMA 的延迟水平。
  • 包括 SK Hynix、Samsung 和英伟达在内的多家公司正在为 AI 基础设施开发类似的数据传输解决方案。

Marvell 已实施光子互连技术,可在相距最远 30 米的 AI 机架之间实现光学共享内存,延迟约为 350 纳秒,带宽达到 7.2 太比特/秒。随着 KV 缓存规模扩展至数百吉字节,该技术解决了一个关键瓶颈:限制 AI 系统性能的并非计算能力,而是内存访问;仅依靠扩展 HBM 的成本高昂且难以承受,而 NVMe 则会引入过高延迟。Marvell 的光学共享内存定位为内存层级中的中间层,使容量扩展能够独立于计算资源,同时保持接近 NUMA 的延迟水平,并将预热缓存保持在加速器附近,从而提高利用率和代币效率。

Marvell 光子互连技术架构

该光子互连技术可实现接近 NUMA 的模块级延迟,使容量扩展能够独立于计算资源。该架构将预热缓存保持在加速器附近,同时提高利用率和代币效率。该系统不再要求将所有数据压缩到有限的 HBM 容量中,而是在高成本 HBM 与高延迟 NVMe 存储之间提供了一个替代性内存层级。

行业转向数据移动设计

多家半导体公司都发现了同一个架构层面的挑战。SK Hynix 和 SanDisk 正在开发 HBF(High Bandwidth FRAM),Samsung 正在推出 zHBM,英伟达则在开发 CPO(共封装光学)解决方案。AI 基础设施领域的竞争格局已从单纯关注计算性能指标,转向数据移动架构设计。该技术的落地进程取决于实际部署情况和光学组件供应链状况。

常见问题

Marvell 的光子互连技术能达到哪些技术规格?

Marvell 的光子互连技术可在相距最远 30 米的 AI 机架之间实现光学共享内存,延迟约为 350 纳秒,带宽达到 7.2 太比特/秒。

为什么光学共享内存被定位在 HBM 和 NVMe 之间?

光学共享内存解决了仅依赖扩展 HBM 来支持大型 KV 缓存时面临的成本限制,同时避免 NVMe 存储的过高延迟,从而构建了一个具备接近 NUMA 延迟特征的中间内存层。

哪些公司正在开发类似的内存层级解决方案?

SK Hynix 和 SanDisk 正在开发 HBF 技术,Samsung 正在开发 zHBM,英伟达则在推进 CPO 解决方案。这些公司都在应对 AI 基础设施中的数据移动挑战。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论