亚马逊 ElastiCache for Valkey 现已提供全托管式分布式 KV 缓存,可将自托管大语言模型推理成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%。该服务现已在美国、欧洲和亚太地区的 13 个 AWS 区域推出。
分布式 KV 缓存通过增加共享层扩展 GPU 本地缓存,让任何服务器都能在不同会话、路由变更和服务器故障期间,重复使用 KV 状态数天。这解决了客户自托管 LLM 时面临的挑战:每台服务器上的小型独立缓存无法容纳或共享不断增长的上下文,而 AI Agent 和聊天应用会反复重新发送这些上下文,导致 GPU 重复执行工作。
技术架构与性能
分布式 KV 缓存运行在 cache.i8ge.48xlarge 节点上,这些节点与 GPU 集群位于同一可用区,并通过 Elastic Fabric Adapter 上的远程直接内存访问连接 GPU。GPU 可在毫秒内获取缓存的 KV 状态,从而处理更多请求并更快响应。此功能适用于开放权重、微调和自定义模型,无论模型采用完整、稀疏、混合还是其他注意力设计。
集成与部署
你可以通过 LMCache 连接器,只需更改配置,即可将分布式 KV 缓存添加到已在使用的推理引擎,包括 vLLM、SGLang 和 TensorRT-LLM。部署前,你可以免费使用开源 KVTrace 工具,根据自己的应用流量估算成本和延迟降幅。要开始使用,请在与 GPU 集群相同的可用区中,使用 AWS CLI 创建包含 cache.i8ge.48xlarge 节点的集群,并将端点添加到推理引擎。
关键事实
- 分布式 KV 缓存可将自托管 LLM 推理成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%
- 该服务运行于 cache.i8ge.48xlarge 节点,并通过 Elastic Fabric Adapter 上的远程直接内存访问连接 GPU
- 通过 LMCache 连接器兼容 vLLM、SGLang 和 TensorRT-LLM 推理引擎
- 现已在美国、欧洲和亚太地区的 13 个 AWS 区域推出
- 开源 KVTrace 工具可在部署前免费估算成本和延迟
常见问题
分布式 KV 缓存如何降低推理成本和延迟?
分布式 KV 缓存通过增加共享层扩展 GPU 本地缓存,让任何服务器都能在不同会话、路由变更和服务器故障期间,重复使用 KV 状态数天。这能避免 GPU 重复处理这些内容。由于每台服务器上的独立缓存无法共享不断增长的上下文,AI Agent 和聊天应用会反复重新发送这些上下文。GPU 可在毫秒内获取缓存的 KV 状态,从而处理更多请求并更快响应,最终将成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%。
分布式 KV 缓存支持哪些推理引擎和模型?
分布式 KV 缓存适用于开放权重、微调和自定义模型,不受其注意力设计限制,包括完整、稀疏、混合或其他变体。它通过 LMCache 连接器集成 vLLM、SGLang 和 TensorRT-LLM 推理引擎,只需更改配置即可启用此功能。
该服务在哪些地区提供?
分布式 KV 缓存现已在美国、欧洲和亚太地区的 13 个 AWS 区域通过 ElastiCache for Valkey 提供。