英伟达推出 NeMo Switchyard AI 路由器,最多可降低智能体成本 74%

NVDA-2.35%
RAMP+0.70%

据 Odaily 报道,英伟达推出了 NeMo Switchyard,这是一套 AI 模型路由系统,可将 AI Agent 任务动态分配至多个大语言模型,在保持性能的同时降低成本和延迟。

该系统会根据任务需求、模型能力、成本、延迟和系统状态,智能选择最合适的模型。在测试中,与仅使用前沿模型相比,NeMo Switchyard 将成本降低了约 74%,仅有 7% 的请求需要调用前沿模型。英伟达正与 Cognition、Nous Research、Ramp、LangChain、LiteLLM 和 Kong 等合作伙伴整合该系统。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论