亚马逊云科技在 2026 年全年推出了 13 项新的 SageMaker Inference 功能,以优化生成式 AI 模型在线上环境中的服务。这些功能在 AWS 产品路线图中编号为 14–26,旨在解决关键运营挑战,包括端点配置选择、GPU 利用效率、多区域流量路由以及部署后的性能监控。
这些更新涵盖三种部署架构:用于单模型和多模型配置的托管端点、用于大型分布式模型的 HyperPod Inference,以及跨区域路由基础设施。主要功能包括 KV 缓存感知路由:将请求路由到持有缓存提示词前缀的实例,以降低首个令牌生成时间(TTFT)延迟;使用 NVIDIA Multi-Instance GPU(MIG)技术进行 GPU 分区;以及持续性能监控,可自动检测延迟漂移和闲置容量。
Amazon 扩大了推理建议功能的覆盖范围。这套自动选择最佳实例类型、容器和优化技术的系统,如今可在工程师工作的各种环境中使用。推理建议最初于 2026 年 4 月以 API 形式推出,现在已集成到 SageMaker AI Studio、SageMaker Python SDK v3 和编程代理中,让用户能够通过笔记本、低代码界面和自然语言查询选择配置。
2026 年 7 月,SageMaker AI Studio 推出了推理优化引导式工作流。工程师可以选择用例配置文件(交互、生成、摘要或自定义)、设定优化目标(降低延迟、提高吞吐量或降低成本),并从 SageMaker JumpStart、Amazon S3、Model Registry 或现有 SageMaker 端点中选择模型。随后,SageMaker AI 使用 NVIDIA AIPerf 对候选配置进行基准测试,并应用与优化目标相匹配的技术,例如通过推测解码提高吞吐量,或通过内核调优降低延迟。结果按 TTFT、令牌间延迟、吞吐量和成本排序,并支持直接从 Studio 部署到实时端点。
2026 年 8 月的更新将推理建议集成到 SageMaker Python SDK v3(3.17.0 及更高版本),使工作流与团队用于训练和部署的同一界面统一起来。工程师可以使用实际工作负载流量对实时端点进行基准测试,生成针对延迟、吞吐量或成本目标的排序建议,并通过一次 Python 调用部署排名最高的配置。SDK 还支持并行比较服务框架(例如 LMI 和 vLLM),以及可恢复的任务;因此,基准测试和部署可以在不同笔记本或流水线阶段进行,而无需重新运行分析。
2026 年 9 月推出了两项重要改进。LoRA 适配器支持使推理建议能够评估端点在保持延迟目标的同时可承载多少个适配器,即针对不同用例的专用模型变体。现在,推理建议接受来自 SageMaker 微调模型包的 Amazon 资源名称(ARN),或来自 Hugging Face PEFT 等外部框架的 S3 URI 作为适配器。SageMaker AI 在真实 GPU 基础设施上对适配器数量和并发组合进行基准测试,并使用 SageMaker Inference Components 提供部署建议,为每个适配器隔离资源,因此新增、更新或移除适配器不会影响其他模型。
同月推出的基于 SLA 的并发搜索,可自动寻找端点在不超过延迟或错误阈值的情况下能够支持的最大并发请求数。工程师设置 search_recipe 为 max-concurrency-under-sla,并为以下任意组合提供目标:最大 TTFT、每个输出令牌的最大耗时、最大端到端延迟和最大错误率。基准测试引擎(AIPerf)会迭代缩小搜索范围,比线性扫描更快收敛。结果会报告通过测试的最大并发级别(feasible_max),或在没有任何级别符合要求时报告未通过的最小级别(infeasible_min)。可选参数(concurrency_min、concurrency_max、search_max_iterations 和 search_initial_points)用于控制成本和收敛速度。
2026 年 10 月,AWS 为编程代理推出了一项代理技能,将 SageMaker 推理优化引入支持模型上下文协议(MCP)的 Kiro 等工具。通过 Agent Toolkit for AWS 提供的 aws-ai-ml 技能,工程师可以用自然语言请求选择实例、对实时端点进行基准测试并比较配置运行结果。代理会提供按性能排序的部署选项,并列出测得的吞吐量、TTFT 和延迟;根据真实负载生成报告,涵盖吞吐量、P50 和 P99 延迟、令牌间延迟以及支持的并发数;并计算各项指标的百分比变化,以验证配置改进。回答以实测性能为依据,并以 SageMaker Python SDK v3 代码形式提供,供工程师审核并使用自己的凭证执行;设置约需 10 分钟。
生产推理通常需要在同一个端点上运行多个模型,包括嵌入模型、重排器、分类器和基础模型。标准配置会为每个模型副本预留整块 GPU;当模型只使用部分 GPU 容量时,就会造成内存浪费。2026 年 10 月推出的两项互补功能解决了这一低效问题。
SageMaker AI 控制台现已支持 Inference Components,用户无需编写脚本即可通过可视化界面管理多模型端点。工程师可以创建包含推理组件的端点,在发布后添加或删除组件,并调整每个组件的加速器分配、CPU、内存和副本数。针对每个组件的自动扩缩策略可以将闲置模型的副本数缩减至零,为活跃工作负载释放加速器。控制台在统一仪表板上显示警报和各组件指标;所有操作都对应到底层 SageMaker AI API,SDK 和 AWS CLI 也会使用这些 API,因此团队可以先从控制台开始,之后再实现自动化,也可以通过可视化界面管理脚本创建的组件。
使用 NVIDIA Multi-Instance GPU(MIG)技术进行 GPU 分区,可根据加速器类型将一块物理 GPU 划分为最多七个相互隔离的分区。每个分区都拥有专用的 GPU 计算资源和内存,并实现完整的硬件隔离。工程师可以在为推理组件创建端点时定义分区布局,并为每个组件分配分区类型。应用程序仍可通过推理组件名称调用模型,无需更改客户端代码。MIG 可隔离各分区之间的 GPU 计算资源和内存;但同一实例上的模型仍会共享主机 CPU、主机内存、网络、存储和端点路由。定价按标准的整实例小时费率计算,节省成本的方式是在每个实例上部署更多模型。
权重超出单实例 GPU 内存容量的模型,需要通过多个节点进行分布式服务,并协调预填充和解码处理。2026 年 11 月,AWS 在 HyperPod Inference 上推出了托管 NVIDIA Dynamo,将多节点分片服务、预填充与解码分离处理以及 KV 感知路由引入托管基础设施。
NVIDIA Dynamo 是一个开源推理框架,提供多节点分片服务、预填充与解码分离处理以及 KV 感知路由。此前,团队需要在自管理 Kubernetes 集群上运行 Dynamo,并自行管理所有配套基础设施,包括节点放置、Elastic Fabric Adapter(EFA)网络、服务镜像维护,以及节点故障后的副本恢复。HyperPod 上的托管 Dynamo 将运营责任转移给 AWS。Dynamo 负责服务决策:模型如何分片、预填充和解码如何分配到不同实例,以及请求路由到何处。HyperPod 则提供 GPU 容量和 EFA 网络(自动配置和连接)、节点健康监控并自动替换故障节点及重新调度多节点工作进程、端点运维(自动扩缩、TLS、端点注册和可观测性),以及通过 Inference Operator 附加组件进行统一安装和升级。
托管 Dynamo 支持多节点分片服务(可运行大于任何单个实例容量的模型)、预填充与解码分离处理(长提示词不再拖慢其他用户的令牌生成),以及 KV 感知路由(将请求发送到持有缓存键值对的工作节点,从而降低 TTFT)。三种部署方式可适配现有基础设施:在自管理 Kubernetes 上运行 Dynamo 的团队基本无需修改现有 DynamoGraphDeployment(DGD)清单即可迁移;使用 HyperPod Inference 的团队可在现有 InferenceEndpointConfig 中添加简短的 dynamoSpec 配置块,同时继续提供服务;新团队则可通过控制台创建启用了 Dynamo 的集群。所有客户端都调用标准的 OpenAI 兼容端点,无需更改客户端代码。托管 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并覆盖所有提供 SageMaker HyperPod 的区域。
生产端点分布在单实例、多节点集群和多个区域。高效路由——将每个请求发送到最适合处理它的 GPU——决定了容量能否转化为有效工作,还是会闲置。
托管端点的 KV 缓存感知路由(2026 年 11 月)会将请求路由到持有最长缓存提示词前缀的实例。长提示词或多轮对话应用会在不同请求中重复使用大量前缀。模型容器可以重用匹配的键值(KV)缓存,但前提是后续请求到达持有该缓存的实例。更早推出的前缀感知路由会对提示词开头生成指纹,并将匹配的提示词路由到同一个实例。KV 缓存感知路由更进一步,利用模型容器报告的缓存状态。容器会将缓存创建和驱逐事件发布到中央索引,SageMaker 随后将请求路由到持有最长匹配缓存前缀的可用实例。这提高了长上下文提示词、多轮对话以及共享动态提示词前缀的工作负载中的缓存复用率。该功能适用于单模型端点、推理组件端点(包括 LoRA 适配器),并支持 InvokeEndpoint、InvokeEndpointWithResponseStream 以及用于 Completions 和 Chat Completions 的 OpenAI 兼容 API。首个版本要求使用经过 AWS 验证的模型容器,并实现缓存事件、分词、指标和 OpenAI 兼容接口。详细的推理可观测性支持跟踪 KV 缓存命中率。
HyperPod 的 Inference Gateway(2026 年 9 月)解决了集群内部容量与需求不匹配时的路由问题。一个 Pod 可能正在处理长上下文请求,KV 缓存几乎已满;与此同时,另一个 Pod 却处于闲置状态,或已持有所需的提示词前缀或 LoRA 适配器。如果无法查看 GPU 状态,新请求就会排在繁忙 Pod 后面等待,团队则会通过增加 GPU 来保障延迟,而不是利用现有容量。此前,每个模型都需要自己的端点,客户端因此必须为每个模型跟踪一个端点。
Inference Gateway 随 HyperPod Inference Operator 附加组件安装,为集群中的所有模型提供一个 OpenAI 兼容端点。对于每个请求,它都会读取所有模型 Pod 的实时信号,并通过可调权重选择最合适的 Pod:KV 缓存利用率(避开缓存几乎已满的 Pod)、队列深度和运行中的请求数(避开积压并平衡工作量)、前缀缓存命中率(优先选择可能持有提示词前缀的 Pod),以及 LoRA 适配器驻留情况(优先选择已持有所需适配器的 Pod,以避免切换延迟)。与轮询路由相比,Inference Gateway 在混合 GPU 代际环境下将 P99 TTFT 降低了最高 97%,在突发流量下最高降低了 98%;该功能覆盖 SageMaker HyperPod 运行的所有区域。
跨区域推理路由(2026 年 11 月)将路由扩展到同一或不同 AWS 账户中的区域端点。工程师可以将提供同一模型服务的端点归入一个路由目标,应用程序调用该目标,而不是调用特定区域端点。路由器不会增加容量、复制模型或部署端点;现有调用路径仍可继续使用。路由器取代自定义故障转移逻辑:优先尝试本地端点,并在本地端点无法处理请求时将流量转移到已注册的端点。它会结合端点指标和服务端容量信号,包括客户无法独立观察到的容量不足错误。跨区域流量通过 AWS PrivateLink 传输,并使用托管式跨账户授权,无需互联网或 NAT 网关。端点所有者可以限制备用端点接受的跨区域流量,应用程序也可以限制哪些区域能够处理请求。
生产工作负载会在发布后不断变化。为模型添加检索功能会延长提示词,请求模式变化会改变 GPU 利用率,而更好的配置也会陆续出现。2026 年 11 月推出了两项部署后优化功能。
持续性能监控(2026 年 11 月)会自动监控 SageMaker AI 推理端点,并提出性能或成本优化建议。所有 SageMaker AI 推理端点默认启用监控,无需进行设置,也可以针对单个端点关闭。SageMaker AI 只检查延迟、GPU 利用率和端点服务配置等运营信号,不会读取请求或响应。当检测结果达到置信度阈值时,会在 AWS 管理控制台和邮箱中通知团队,方便使用笔记本和 CLI 的团队查看。点击建议操作会打开 SageMaker AI Studio 中的 SageMaker AI 代理式体验,并自动填入检测结果,用户可在一次对话中完成分析、比较和部署。未经明确批准,不会部署任何内容;监控也可随时关闭。
该功能会显示三类检测结果:流量变化后的延迟漂移(量化因新增检索导致提示词变长而引起的 TTFT 回归,并建议针对近期流量重新运行推理建议);部署以来一直存在的配置缺陷(标记从未针对工作负载进行良好调优的端点,并提供建议的纠正措施);以及闲置 GPU 容量(在闲置容量连续数周存在时发出警报,提示调整资源规格和降低成本的机会)。
原地滚动模型更新(2026 年 11 月)可降低模型部署期间的容量需求。标准滚动更新会在新配置的实例上一次替换一个批次的端点。在大型 GPU 集群中,每一步都需要找到新的容量;如果下一个批次不可用,更新就可能中途失败。原地更新会在开始时配置一个小批次的额外实例,将流量转移到该批次,然后更新已释放的实例,并在整个集群其余部分重复使用这些实例。更新仍分阶段进行,但只需获取一次新容量。对于批次大小为 2 的 20 实例集群,更新只需获取 2 个新实例,而不是 20 个。客户无需进行任何更改;该改进会自动生效。
KV 缓存感知路由使用模型容器直接报告的缓存状态,将请求发送到已持有匹配提示词前缀的实例。容器会将缓存创建和驱逐事件发布到中央索引,使 SageMaker 能够将每个请求路由到持有最长匹配缓存前缀的可用实例。与前缀感知路由相比(后者根据请求历史为提示词生成指纹),这种方式提高了缓存复用率,因为它反映的是当前实际缓存状态,而不是根据历史推断各实例持有哪些缓存。对于长上下文提示词、重复使用相同系统消息或上下文的多轮对话,以及共享动态提示词前缀的工作负载,这一改进尤其显著。
HyperPod Inference 上的托管 NVIDIA Dynamo 会自动处理容量配置和网络设置。AWS 会自动配置 GPU 容量和 Elastic Fabric Adapter(EFA)网络,无需人工干预;因此,预填充处理可以使用适合处理提示词的实例类型,而解码处理则可以使用适合生成令牌的另一种实例类型。服务会自动替换故障节点,并在节点故障时重新调度多节点副本。团队可以从自管理 Kubernetes 集群迁移现有的 DynamoGraphDeployment(DGD)清单,在现有 HyperPod InferenceEndpointConfig 中添加 dynamoSpec 配置块,或通过控制台创建启用了 Dynamo 的新集群。托管 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并覆盖 SageMaker HyperPod 运行的所有区域。
Inference Gateway 作为 HyperPod Inference Operator 附加组件的一部分安装,并读取所有模型 Pod 的实时信号,根据可调路由权重为每个请求选择最佳 Pod。路由权重包括 KV 缓存利用率、队列深度、前缀缓存命中率和 LoRA 适配器驻留情况。源材料未说明网关本身带来的内存或计算开销。与轮询路由相比,Inference Gateway 在混合 GPU 代际环境下将 P99 TTFT 降低了最高 97%,在突发流量下最高降低了 98%,并覆盖 SageMaker HyperPod 运行的所有区域。
相关快讯