英伟达 Switchyard 在 523 项智能体数据库任务中领先于 8 款大语言模型路由器

关键要点

  • 英伟达的 Switchyard 在 523 项智能体数据库任务中得分为 56.2%,每 1,000 个问题的成本为 16.6 美元;在 2026 年 11 月 19 日发布的基准测试中,它胜过了另外七个 LLM 路由器。
  • 根据该基准测试,八个路由器的得分均低于 GPT-6.1 Sol 单模型基线的 61.2%;Switchyard 最接近该基线,但仍低 5.0 个百分点。
  • 成本最低的三个路由器——Fireworks Nexus Auto、OpenRouter Auto 和 TypeSafe Jev——得分分别为 35.9%、28.7% 和 29.4%,它们几乎只将请求路由至单个低成本模型。

英伟达 Switchyard 在 523 项智能体数据库任务中取得了 56.2% 的最高分,参与测试的 LLM 路由器共八个。根据 2026 年 11 月 19 日发布的一项基准测试,测试比较了各路由器在 text-to-SQL 智能体查询中的性能和成本效率;在多轮任务的每个步骤中,路由器都会选择要调用的模型。OpenRouter Auto Code 得分为 52.8%,使用 19 个模型的 Not Diamond 得分为 50.9%;Switchyard 与 Auto Code 之间没有明确的统计学差异。八个路由器的得分都低于 GPT-6.1 Sol 的单模型基准分 61.2%,其中 Switchyard 最接近,低了 5.0 个百分点。

路由器性能与准确率

该基准测试评估了各路由器的模型选择策略解决数据库问题的能力。Switchyard 在 GPT-6.1 Sol 和 GPT-6 Luna 之间进行路由,得分为 56.2%,每 1,000 个问题的成本为 $16.6,其中包括评审模型费用。评审模型 Gemini 3.5 Flash Lite 会读取问题,并在工具结果无法确定选择时挑选模型,每 1,000 个问题增加 $2.9 的成本。OpenRouter Auto Code 每 1,000 个问题的成本为 $24.6,得分为 52.8%;它将 71% 的调用发送至 OpenAI 优先级套餐中的 GPT-6.1 Sol,每次调用的价格是标准价格的 2.04 倍。Not Diamond 使用 19 个模型组成的模型池,得分为 50.9%,每 1,000 个问题的成本为 $50.5;每次选择收取 $0.001 的费用,使总成本增加了 $6.8。

在仅包含两种模型的受限共享模型池中——Gemini 3 Flash Preview 和 DeepSeek V4 Flash——结果有所变化。Not Diamond 的默认设置得分为 59.3%,每 1,000 个问题的成本为 $15.8,但它将所有调用都发送至 Gemini 3 Flash Preview;该模型单独测试时得分为 59.7%,成本为 $9.4。采用注重成本的设置后,Not Diamond 得分为 59.7%,成本为 $12.8,但其 $7.5 的选择费用超过了模型调用成本。Switchyard 在共享模型池中的得分为 55.1%,每 1,000 个问题的成本为 $11.2,并将 75% 的调用发送至 Gemini 3 Flash Preview。这些结果表明,在共享模型池中,没有路由器表现出明显优于其最常用单一模型的性能提升。

成本效率与模型选择策略

三种成本最低的路由器——Fireworks Nexus Auto(每 1,000 个问题 $1.9)、OpenRouter Auto($2.0)和 TypeSafe Jev($2.1)——都将几乎所有调用发送至同一个低价模型。OpenRouter Auto 和 TypeSafe Jev 都将 98% 或更多的调用路由至 Claude Haiku 5.5,而 Fireworks Nexus Auto 则将 98.85% 的调用发送至 GLM 5.3 Flash。这三种路由器的得分分别为 35.9%、28.7% 和 29.4%,都显著低于 GPT-6 Luna 的 38.8%;后者每 1,000 个问题仅需 $1.3。尽管采用了选择逻辑,这些路由器并未带来性能提升;一项随机混合测试将 Switchyard 和 Auto Code 的表现与随机分配模型时的预期得分进行了比较,结果没有显示明确差异,这表明这些路由器并未实质性改善基于随机选择的效果。

Not Diamond 的默认路由器经过预训练,只会返回模型名称而不会发起 API 调用,因此用户可以自行调用模型。其他路由器则会直接发起模型调用。Switchyard 通过 OpenRouter 运行,最多可使用三个模型,并在最便宜和最贵的选项之间进行选择。OpenRouter Auto 和 Auto Code 不收取额外路由费用,并将模型列表视为硬性限制;不过,当 Auto Code 使用 Switchyard 的 GPT-6.1 Sol 和 GPT-6 Luna 模型池时,运行失败。TypeSafe Jev 只收取所选模型的费用,不收取额外费用。Fireworks Nexus Auto 不接受模型列表,而是在 Fireworks 的开放模型中进行选择。Unbiased Pareto 26.10 和 Sakana Fugu Max 均未公布其模型池或选择标准;Pareto 得分为 44.2%,每 1,000 个问题的成本为 $13.2;Sakana 得分为 27.3%(所有路由器中最低),成本为 $30.0。

速度、调用限制与统计置信度

每个问题的中位响应时间差异显著。使用 19 个模型的 Not Diamond 每个问题耗时 17.3 秒,Switchyard 耗时 15.4 秒。GPT-6.1 Sol 单独运行时耗时 10.7 秒。OpenRouter Auto 和 TypeSafe Jev 速度最快,分别为 8.8 秒和 9.0 秒;两者几乎都只路由至 Claude Haiku 5.5。与 GPT-6.1 Sol 在不使用路由时相比,OpenRouter Auto Code 在优先级套餐下每次调用仅增加 0.2 秒耗时,但该套餐使每次调用的成本增加至三倍。Sakana Fugu Max 在 16.1% 的问题上触及 10 次调用上限,平均每个问题进行了 6.8 次模型调用,而 GPT-6.1 Sol 为 5.5 次。

只有 Switchyard 在超过 5% 的问题中切换过模型;在 523 个问题中,它有 308 个问题使用了 GPT-6.1 Sol 和 GPT-6 Luna。OpenRouter 和 Pareto 的智能体文档建议使用会话密钥,但这并不能防止模型切换。OpenRouter Auto 和 Auto Code 为保持提示缓存效率而避免切换。Fireworks Nexus Auto 只会在用户消息发生变化时切换;九次切换全部发生在智能体请求最终答案的第二条消息上。

该基准测试通过对 523 个问题进行自助重采样,计算 95% 置信区间;同时使用精确 McNemar 检验,并采用 Holm 校正,以 5% 显著性水平比较结果。GPT-6.1 Sol 的两次独立运行中,有 33 个问题在一次运行中答对、另一次运行中答错,体现了结果的波动性。测试于 2026 年 11 月 13 日至 16 日进行,每个路由器和模型池各运行一次;路由器的模型选择可能每天变化。11 月 17 日对 OpenRouter Auto、Auto Code 和 Jev 进行复测时,路由器选择了此前运行中未出现过的两种模型,Auto Code 将 63% 的调用发送至其中一种。

Llama 4 Maverick 与更广泛的模型基准比较

Llama 4 Maverick 作为单模型基准,得分为 28.1%,每 1,000 个问题的成本为 $6.1。在测试的全部 63 个模型和路由器中,GPT-6.1 Sol 和 Claude Fable 5.2 的得分最高,分别为 61.2% 至 61.4% 和 85.3%。Claude Haiku 5.5 的成本虽低至 $1.92,但得分仅为 26.2%,这解释了为什么默认使用该模型的低价路由器得分也很低。DeepSeek 模型的表现各不相同:DeepSeek V4 Pro 成本为 $11.3,得分为 35.4%;DeepSeek V4.1 Flash 1017 成本为 $2.0,得分却只有 20.7%。Gemini 模型的得分从 Gemini 3 Flash Preview 的 59.7%(成本 $9.4)到 Gemini 4 Argon 的 77.8%(成本 $48.4)不等。该基准测试的 523 个问题全部来自 BIRD 公共 text-to-SQL 数据集;每个智能体需从 11 个数据库中选择一个并编写 SQL 查询,每个问题最多允许调用模型 10 次。

关键事实

  • 英伟达 Switchyard 在 523 项智能体数据库任务中的得分为 56.2%(置信区间为 51.8% 至 60.4%),每 1,000 个问题的成本为 $16.6,其中评审模型费用为 $2.9
  • OpenRouter Auto Code 得分为 52.8%(置信区间为 48.4% 至 57.0%),每 1,000 个问题的成本为 $24.6;71% 的调用发送至优先级套餐中的 GPT-6.1 Sol,价格为标准价格的 2.04 倍
  • Not Diamond 使用 19 个模型,得分为 50.9%(置信区间为 46.5% 至 55.1%),每 1,000 个问题的成本为 $50.5;选择费用使总成本增加了 $6.8
  • 在由 Gemini 3 Flash Preview 和 DeepSeek V4 Flash 组成的共享模型池中,Not Diamond 得分为 59.3%,成本为 $15.8,但它将 100% 的调用路由至 Gemini 3 Flash Preview;该模型单独运行时得分为 59.7%,成本为 $9.4
  • GPT-6.1 Sol 基准得分为 61.2%,每 1,000 个问题的成本为 $15.4;八个路由器的得分都低于这一基准
  • Fireworks Nexus Auto 得分为 35.9%,每 1,000 个问题的成本为 $1.9;它将 98.85% 的调用路由至 GLM 5.3 Flash
  • OpenRouter Auto 得分为 28.7%,成本为 $2.0;它将 98.63% 的调用路由至 Claude Haiku 5.5
  • TypeSafe Jev 得分为 29.4%,成本为 $2.1;它将 98.29% 的调用路由至 Claude Haiku 5.5
  • Llama 4 Maverick 单模型基准得分为 28.1%,每 1,000 个问题的成本为 $6.1
  • 每个问题的中位响应时间从 8.8 秒(OpenRouter Auto)到 17.3 秒(使用 19 个模型的 Not Diamond)不等
  • Switchyard 在超过 5% 的问题中切换过模型;在 523 个问题中,有 308 个问题使用了 GPT-6.1 Sol 和 GPT-6 Luna。其他路由器很少切换,或为保持提示缓存而避免切换
  • 测试于 2026 年 11 月 13 日至 16 日进行,每个路由器和模型池各运行一次;523 个问题均来自 BIRD 公共 text-to-SQL 数据集

常见问题

在这项基准测试中,哪个 LLM 路由器得分最高?

英伟达 Switchyard 在测试的八个路由器中得分最高,为 56.2%;它在 GPT-6.1 Sol 和 GPT-6 Luna 之间进行路由,并由评审模型 Gemini 3.5 Flash Lite 在工具结果无法确定选择时挑选模型。不过,Switchyard 的得分仍比 GPT-6.1 Sol 的单模型基准分 61.2% 低 5.0 个百分点;由于置信区间与其他领先路由器重叠,Switchyard 的 56.2% 与 OpenRouter Auto Code 的 52.8% 之间没有明确的统计学差异。

成本最低的路由器表现如何?

三种成本最低的路由器,每 1,000 个问题的成本在 $1.9 至 $2.1 之间。Fireworks Nexus Auto 的成本为 $1.9,它将 98.85% 的调用路由至 GLM 5.3 Flash,得分为 35.9%。OpenRouter Auto 的成本为 $2.0,它将 98.63% 的调用路由至 Claude Haiku 5.5,得分为 28.7%。TypeSafe Jev 的成本为 $2.1,它将 98.29% 的调用路由至 Claude Haiku 5.5,得分为 29.4%。三者的得分都显著低于 GPT-6 Luna 的 38.8%;后者每 1,000 个问题的成本为 $1.3。这表明低成本并未转化为路由效率的提升。

有路由器的表现超过最佳单模型基准吗?

没有。表现最强的单模型基准 GPT-6.1 Sol 得分为 61.2%,每 1,000 个问题的成本为 $15.4。八个路由器的得分都低于这一基准。在受限共享模型池中,Not Diamond 使用默认设置时得分为 59.3%,成本为 $15.8;但它几乎将 100% 的调用都路由至 Gemini 3 Flash Preview,后者单独运行时得分为 59.7%,成本为 $9.4。测试未发现这一子集中的路由逻辑带来明确的性能优势。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论