亚马逊 ElastiCache 为自托管 LLM 推理新增分布式 KV 缓存功能

AMZN-3.03%

关键要点

  • Amazon ElastiCache for Valkey 提供分布式 KV 缓存,可将自托管 LLM 推理成本最多降低 40%,并将首 token 延迟最多缩短 80%。
  • Amazon ElastiCache 使用 cache.i8ge.48xlarge 节点,通过 Elastic Fabric Adapter 使用远程直接内存访问,支持 vLLM、SGLang 和 TensorRT-LLM。
  • Amazon ElastiCache 分布式 KV 缓存现已在美国、欧洲和亚太地区的 13 个 AWS 区域推出。

亚马逊 ElastiCache for Valkey 现已提供全托管式分布式 KV 缓存,可将自托管大语言模型推理成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%。该服务现已在美国、欧洲和亚太地区的 13 个 AWS 区域推出。

分布式 KV 缓存通过增加共享层扩展 GPU 本地缓存,让任何服务器都能在不同会话、路由变更和服务器故障期间,重复使用 KV 状态数天。这解决了客户自托管 LLM 时面临的挑战:每台服务器上的小型独立缓存无法容纳或共享不断增长的上下文,而 AI Agent 和聊天应用会反复重新发送这些上下文,导致 GPU 重复执行工作。

技术架构与性能

分布式 KV 缓存运行在 cache.i8ge.48xlarge 节点上,这些节点与 GPU 集群位于同一可用区,并通过 Elastic Fabric Adapter 上的远程直接内存访问连接 GPU。GPU 可在毫秒内获取缓存的 KV 状态,从而处理更多请求并更快响应。此功能适用于开放权重、微调和自定义模型,无论模型采用完整、稀疏、混合还是其他注意力设计。

集成与部署

你可以通过 LMCache 连接器,只需更改配置,即可将分布式 KV 缓存添加到已在使用的推理引擎,包括 vLLM、SGLang 和 TensorRT-LLM。部署前,你可以免费使用开源 KVTrace 工具,根据自己的应用流量估算成本和延迟降幅。要开始使用,请在与 GPU 集群相同的可用区中,使用 AWS CLI 创建包含 cache.i8ge.48xlarge 节点的集群,并将端点添加到推理引擎。

关键事实

  • 分布式 KV 缓存可将自托管 LLM 推理成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%
  • 该服务运行于 cache.i8ge.48xlarge 节点,并通过 Elastic Fabric Adapter 上的远程直接内存访问连接 GPU
  • 通过 LMCache 连接器兼容 vLLM、SGLang 和 TensorRT-LLM 推理引擎
  • 现已在美国、欧洲和亚太地区的 13 个 AWS 区域推出
  • 开源 KVTrace 工具可在部署前免费估算成本和延迟

常见问题

分布式 KV 缓存如何降低推理成本和延迟?

分布式 KV 缓存通过增加共享层扩展 GPU 本地缓存,让任何服务器都能在不同会话、路由变更和服务器故障期间,重复使用 KV 状态数天。这能避免 GPU 重复处理这些内容。由于每台服务器上的独立缓存无法共享不断增长的上下文,AI Agent 和聊天应用会反复重新发送这些上下文。GPU 可在毫秒内获取缓存的 KV 状态,从而处理更多请求并更快响应,最终将成本最高降低 40%,并将首个 token 的生成时间最高缩短 80%。

分布式 KV 缓存支持哪些推理引擎和模型?

分布式 KV 缓存适用于开放权重、微调和自定义模型,不受其注意力设计限制,包括完整、稀疏、混合或其他变体。它通过 LMCache 连接器集成 vLLM、SGLang 和 TensorRT-LLM 推理引擎,只需更改配置即可启用此功能。

该服务在哪些地区提供?

分布式 KV 缓存现已在美国、欧洲和亚太地区的 13 个 AWS 区域通过 ElastiCache for Valkey 提供。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论