Micron 于 11/04/2026 发布了其 KV 缓存分析,报告了使用 Micron 9550 PRO SSD 和 AI 推理框架进行的验证测试。文章介绍了更长的上下文窗口、推理模型和 AI Agent 如何增加对内存的需求,以保留对话和任务上下文。文章提出,阶梯式内存(包括 SSD 层)可以作为一种扩展推理容量、使其超越 GPU 内存限制的方法。
AI 上下文增长扩大 KV 缓存需求
KV 缓存用于存储之前问题和回答的上下文,以便 AI 模型在对话过程中使用这些信息。Micron 的文章称,仅七年时间,AI 模型能够容纳的上下文量就增长了近 20,000 倍;上下文越多,存储对话历史所需的内存也越多。
文章指出了增加 KV 缓存需求的三个趋势。更长的上下文窗口让开发者能够将整个代码库提供给 AI 助手,也让律师能够一次分析数千份文件。OpenAI 的 o3 和 DeepSeek-R1 等推理模型会在给出答案前生成中间推理;它们生成的推理代币可能是最终回答中代币数量的数倍,从而增加推理过程中的 KV 缓存占用。
AI Agent 还会带来额外的内存需求,因为它们会使用工具、调用 API 并管理长期工作流。聊天机器人可能只会保留几秒或几分钟的对话,而 AI Agent 可能需要跨多个会话保留数小时、数天甚至更长时间的上下文。
软件效率提升并不能消除 KV 缓存需求
Micron 表示,软件技术可以缩小 KV 缓存,但无法单独解决需求问题。文章将这一现象与英国经济学家 William Stanley Jevons 于 1865 年提出的反弹效应联系起来:效率提升让蒸汽动力更容易获得,而英国消耗的煤炭不是减少,反而大幅增加。文章将其称为杰文斯悖论。
Micron 表示,在 AI 基础设施中,通过缩小 KV 缓存节省的空间会被重新用于更大的上下文窗口、更多并发用户或更复杂的推理任务。文章称,目前尚无需求即将减少的迹象。
阶梯式内存扩展 AI 推理容量
Micron 将阶梯式内存层级描述为一种兼顾成本、容量和速度的方式。在传统计算系统中,频繁需要的数据存放在快速但昂贵的缓存中,不那么紧急的数据存放在 RAM 中,其他数据则存储在 SSD 上。文章认为,AI 推理系统需要根据访问模式和工作负载需求协调不同内存层级,而不是只选择其中一种。
SSD 层可以作为 GPU 内存的更大、更经济的后备存储,而不是取代 GPU 的板载内存。Micron 将内存和存储选择与可同时服务的用户数量、支持的上下文长度、每次查询的财务因素,以及 AI 应用能否实现盈利性扩展联系起来。
Micron 9550 PRO SSD 验证:结果与规格
Micron 数据中心工作负载工程团队使用 Micron 9550 PRO SSD 和热门开源 AI 推理框架进行了广泛的验证测试。文章称,添加高性能 SSD 存储可以将 KV 缓存扩展到 GPU 内存之外,从而显著提升长上下文推理容量,并有望提高 GPU 利用率、降低基础设施成本。
- 测试使用的 SSD 是 Micron 9550 PRO SSD。
- Micron 数据中心工作负载工程团队使用热门开源 AI 推理框架进行了广泛的验证测试。
- 文章称,SSD 存储可以将 KV 缓存扩展到 GPU 内存之外,并显著提升长上下文推理容量。
- 文章指出,潜在效果包括提高 GPU 利用率和降低基础设施成本。
- Micron 的文章发表于 11/04/2026。
常见问题
Micron 测试了哪些 AI 推理应用?
Micron 数据中心工作负载工程团队使用 Micron 9550 PRO SSD 和热门开源 AI 推理框架进行了广泛的验证测试。
SSD 存储会如何影响 AI KV 缓存?
文章称,高性能 SSD 存储可以将 KV 缓存扩展到 GPU 内存之外,并显著提升长上下文推理容量。文章还称,这有望提高 GPU 利用率并降低基础设施成本。
KV 缓存需求为何不断增长?
Micron 指出,更长的上下文窗口、会生成中间推理代币的推理模型,以及会在长期工作流和多个会话中保留上下文的 AI Agent,都是推动 KV 缓存需求增长的因素。