截至 2026 年 11 月 17 日,微软已将其 Foundry Models 路由器池扩展至 45 个模型,涵盖 OpenAI、Anthropic、微软 AI、xAI、DeepSeek、Meta 和 Fireworks;新增模型包括 Z.ai 的 GLM-5.3 和 GLM-5.3-Flash。模型路由器会根据成本和质量优化情况,自动将请求路由至最合适的模型。对于使用完整模型池的最新版本(2025-11-18)部署,无需更改代码。
此次扩展是在微软 8 月更新之后进行的,该更新着重于简化模型路由器的采用流程并提升可信度。用户现在可以使用 Auto 功能,只需一行代码即可开始路由:将 model 设为 "auto",无需在全部 32 个模型路由器区域中专门部署。
Auto 是无需部署即可使用的模型路由器。用户可以在向 Foundry 资源或项目终结点发送的请求中,将 model 参数设为 "auto",模型路由器便会为每个请求自动选择模型。要运行 Auto,用户需通过命令 pip install openai 安装 OpenAI SDK,并将 FOUNDRY_RESOURCE_ENDPOINT 和 FOUNDRY_API_KEY 设置为其资源的终结点和密钥。微软建议在生产环境中使用 Microsoft Entra ID,而非密钥。
每个响应都会标明回答请求的模型。如果用户需要专用速率限制、自定义路由模式或模型子集,或者需要 Data Zone Standard 处理,则可以部署模型路由器,并将 "auto" 替换为模型路由器部署名称,其余请求代码保持不变。
自 8 月更新以来,路由池中新增了 18 个模型。OpenAI 提供了 GPT-6 Astra、GPT-6 Sol、GPT-6 Luna、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-5.1。Anthropic 新增了 Claude Opus 5、Claude Sonnet 5、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Haiku 5.5。微软 AI 推出了 MAI-Code-2-Flash,xAI 新增了 Grok 4.6,DeepSeek 则提供了 DeepSeek-V4.1-Flash。Fireworks 新增了 Z.ai 的 GLM-5.3 和 GLM-5.3-Flash,以及 Moonshot AI 的 Kimi K3。
使用完整模型池的 2025-11-18 版本部署会在预览期间自动获得新模型,无需更改代码。用户需按每个请求所选的模型付费,并支付任何适用的模型路由器费用。Claude 和 Fireworks 模型需要额外设置:Claude 模型必须先部署到 Foundry 资源中,而 Fireworks 模型则需要管理员在订阅中启用,并接受其条款。
模型路由器可与现有 API 配合使用,包括 Responses(预览版)、Chat Completions,以及适用于已部署到 Foundry 资源中的 Claude 模型的 Messages(预览版)。路由器分两步运行:首先根据请求要求(如工具、输出格式和图像输入)筛选模型,然后按照路由模式(质量、成本或平衡)对剩余模型进行排名。
对于智能体,模型路由器适用于需要多次模型调用、且每次调用都需要不同能力的任务。简单问候可以路由至快速、低成本的模型,而规划步骤则可以路由至推理能力更强的模型。自适应会话亲和性(预览版)会在每一步评估是否继续使用同一模型最优,具体方法是检查先前模型的提示缓存是否仍处于热状态,以及其预估质量是否与其他符合条件的模型相当。
模型路由器集成了 Foundry Agent Service、Microsoft Agent Framework、LangGraph、OpenAI Agents SDK、Google ADK、CrewAI 和 Claude Agent SDK 等框架。它还支持 GitHub Copilot、Claude Code、Codex 和 OpenCode 等编码工具。要在模型路由器上启动 GitHub Copilot CLI,只需一行命令:copilot --model foundry/model-router。
用户可以通过发送 Foundry-Features: ModelRouterControls=V1Preview 标头和 routing_config 对象,按请求控制路由(预览版),设置路由模式、缩小模型范围、指定特定模型,或要求所选模型支持请求中的所有参数。
模型路由器会根据每个提示的预估模型表现与排名最高的模型进行比较,从而权衡质量和成本。路由模式决定路由器为了节省成本,可以选择与排名最高模型相差多远的模型。平衡模式(默认)会在与排名最高模型的质量差距较小(约 1–2%)的范围内,选择最具成本效益的模型。成本模式会在预估质量差距较大的范围(约 5–6%)内选择最具成本效益的模型。质量模式则不考虑成本,选择预估质量最高的模型。
只要预估质量仍接近排名最高的模型,自适应会话亲和性就会让对话继续使用当前模型。用户可以通过响应标识和路由详情(预览版)查看路由决策,其中会显示路由模式以及模型路由器尝试过的每个模型。已部署模型优先(预览版):如果模型路由器选择的模型已部署在同一 Foundry 资源中,该部署就会处理请求;对于 OpenAI 模型,会优先使用预配吞吐量(PTU),然后才使用按量付费部署。故障转移仍限定在已配置的子集中:先尝试同一模型的可用容量,再考虑排名靠后的其他符合条件模型。
Foundry 现已提供工具,帮助团队在发布前评估成本和质量,并在生产环境中进行监控。部署前,用户需定义成功指标,例如答案质量、代码正确性或智能体任务完成情况,然后选择用于评估这些指标的评估器。在 Foundry 门户中,用户可以使用这些评估器,在同一数据集上运行模型路由器部署和单模型基线。每次运行都会报告质量分数、P50 和 P95 延迟;对于 Global Standard 部署,还会报告预估成本,并按模型路由器所选模型拆分。开源的 Model Router Auto Evaluation 工具包可以自动进行比较,并通过一条命令生成单文件 HTML 报告。
在生产环境中,模型路由器部署的 Monitor 选项卡于 2026 年 11 月 5 日发布,可显示按模型统计的请求数、延迟、缓存命中率、回退率和预估成本,并与单模型基线进行对比。使用预览版标头时,响应会包含 model_selection_details:所采用的路由模式、按顺序排列的模型尝试记录(包括任何故障转移),以及会话亲和性决策。评估和 Monitor 选项卡中的成本均为基于标价的估算,可能与实际账单不同。
从 Ignite 起,AI Gateway 已正式发布,模型路由器也可在其中运行。用户可以为网关模型别名启用自动模型选择(预览版);模型路由器会针对每个请求对该别名背后的模型进行排名,而网关则应用优先级、权重和策略。应用可以使用 Microsoft Entra ID 或网关密钥登录,无需持有提供商凭据。平台团队可以设置代币和成本限额,并优先使用已付费的容量,例如预配吞吐量。
处理请求的后端可以运行在任何位置:Foundry 或 Azure OpenAI 部署、OpenAI 和 Anthropic、Amazon Bedrock、Google Vertex AI,或用于自托管开放模型的自定义 OpenAI 兼容终结点;前提是每个后端运行的模型均受模型路由器支持。连接 Application Insights 后,网关跟踪记录会显示排名后的模型,以及每个请求由哪个模型处理。AI Gateway 中的自动模型选择目前处于预览阶段,预览期间不收取模型路由器费用;正式发布后将收取模型路由器费用,而 AI Gateway 和后端费用仍适用。
用户可以启用 Auto 功能,在请求中将 model 设为 "auto",无需专门部署即可开始使用。要运行 Auto,用户需通过 pip install openai 安装 OpenAI SDK,并将环境变量 FOUNDRY_RESOURCE_ENDPOINT 和 FOUNDRY_API_KEY 设置为其资源的终结点和密钥。Auto 可在全部 32 个模型路由器区域中使用。每个响应都会标明回答请求的模型。如果用户需要专用速率限制、自定义路由模式或模型子集,或者需要 Data Zone Standard 处理,则可以部署模型路由器,并将 "auto" 替换为模型路由器部署名称。
截至 2026 年 11 月 17 日,模型路由器池包含来自七家提供商的 45 个模型:OpenAI(GPT-6 Astra、GPT-6 Sol、GPT-6 Luna、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-5.1)、Anthropic(Claude Opus 5、Claude Sonnet 5、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5 和 Claude Haiku 5.5)、微软 AI(MAI-Code-2-Flash)、xAI(Grok 4.6)、DeepSeek(DeepSeek-V4.1-Flash)、Meta、Fireworks(Z.ai 的 GLM-5.3 和 GLM-5.3-Flash,以及 Moonshot AI 的 Kimi K3)。使用完整模型池的 2025-11-18 版本部署会在预览期间自动获得新模型,无需更改代码。
部署前,用户需定义成功指标,例如答案质量、代码正确性或智能体任务完成情况,然后在 Foundry 门户中选择评估器,在同一数据集上运行模型路由器部署和单模型基线。每次运行都会报告质量分数、P50 和 P95 延迟;对于 Global Standard 部署,还会报告预估成本,并按所选模型拆分。开源的 Model Router Auto Evaluation 工具包可自动进行比较,并通过一条命令生成单文件 HTML 报告。在生产环境中,模型路由器部署的 Monitor 选项卡(于 2026 年 11 月 5 日发布)会显示按模型统计的请求数、延迟、缓存命中率、回退率和预估成本,并与单模型基线进行对比。评估和 Monitor 选项卡中的成本均为基于标价的估算,可能与实际账单不同。
相关快讯