TypeSafe、微软和初创公司 Sqwish 正在推动决策模型迅速普及。决策模型是一种新型 AI,不生成文本,而是在预设选项之间做出选择。据该平台的指标显示,10 月,Vercel 的 AI 模型路由器上超过四分之一的请求都发给了决策模型。周二,微软 CEO Satya Nadella 宣布,公司正将其 Decision-1.1 模型推广至 Azure,供广泛使用;而 Sqwish 今天宣布为其 kettei fat 决策模型完成 300 万美元种子前轮融资。此次热潮是在 TypeSafe 于 9 月推出 Jev 模型系列之后兴起的,该系列成为这家公司获得 75 亿美元估值的基石。在生产环境中,速度比详细推理更重要,决策模型因此成为前沿大型语言模型的一种更快、更便宜的替代方案。
TypeSafe 凭 Jev 系列主导决策模型使用
TypeSafe 的 Jev 模型系列继续主导各个平台上的决策模型使用情况。据该服务的指标显示,上周 OpenRouter 处理了超过 15 亿次发往 TypeSafe 模型的查询。该公司发布 Jev 后估值达到 75 亿美元;在公开可见的使用指标中,Jev 仍是领先选项。
决策模型是不会生成输出 token 的 LLM。相反,它们利用通用智能,在预设选项之间快速做出选择,同时记录对选择的置信度。TypeSafe CEO Diogo Almedia 告诉 TechCrunch,打造 Jev 最困难的部分,是利用经过统计调整的合成数据,精细校准其判断能力。
微软在 Azure 平台推出 Decision-1.1 模型
微软 CEO Satya Nadella 周二表示,公司正立即将其决策模型 Microsoft-Decision-1.1 推广至 Azure,供广泛使用。该模型标志着微软进入这一类别;自 TypeSafe 推出相关模型以来,这一类别迅速涌现出大量产品。
领导该项目的工程副总裁 Achint Srivastava 在一封邮件中写道,Microsoft-Decision-1.1 是对成本、延迟、智能和校准能力进行审慎权衡的结果。Srivastava 写道:“我们的测试凸显出,要在单一模型中实现准确性、可靠性、速度和成本效益,是多么具有挑战性。Microsoft-Decision-1.1 和 Jev 是少数能够在这四个维度上都表现出色的模型,即使是在反映真实用例的‘留出’或未见过的基准测试中进行评估,表现也是如此。”
Sqwish 为可定制决策模型融资 300 万美元
总部位于英国的 AI 初创公司 Sqwish 今天宣布为其名为 kettei fat 的决策模型完成 300 万美元种子前轮融资。联合创始人 Ushnish Sengupta 和 Federica Freddi 在剑桥大学读研究生时相识;Jev 问世前,他们一直在开发小型 LLM。他们意识到,自己的架构可以改造为功能强大的决策模型。
这家初创公司的独特之处在于内置了后训练工具,可利用客户自己的数据提升模型的判断能力。Sqwish CEO Ushnish Sengupta 告诉 TechCrunch:“我认为,我们之所以不是一种普通商品,是因为我们为客户提供了同样的能力……他们可以持续上传生产数据,就像我们训练模型的方式一样,他们的模型也能在他们关注的任务上不断改进。”
数据质量决定决策模型表现
数据似乎是这一类别模型能否成功的关键。TypeSafe CEO Diogo Almedia 告诉 TechCrunch,打造 Jev 最困难的部分,是利用经过统计调整的合成数据,精细校准其判断能力。Sqwish 也一直在为其 kettei fat 模型使用合成数据。
决策模型易于创建,这推动了它们迅速涌现。一位亚马逊工程师用了一个周末就做出了一个,很快每家超大规模云服务商都有了自己的产品。Jev 推出后,数十种模型相继问世。
基准测试对现实场景评估的价值有限
据这项技术的开发者称,要给决策模型排名并不容易。大多数人表示,真正的检验在于生产环境中的使用;开发者通常可以轻松地用一个模型替换另一个,并观察它在特定场景中的表现。
Sengupta 说:“基准测试更像是邀请大家试用模型,而持续调优才是他们应该继续选择我们的原因。”微软的 Srivastava 也认同,过度关注基准测试是个错误。Srivastava 写道:“我们发现,‘基准测试至上’的模型在真实企业场景中很快就会表现失常。”
Freddi 告诉 TechCrunch,未来的系统将由所谓的系统一智能(例如决策模型)与系统二智能(例如前沿 LLM)协同工作。她说:“即使到了那个未来,系统一的市场价值也许是 100 亿、500 亿 [opportunity],而 OpenAI 正在进行 IPO,你知道,它瞄准的市值是 1 万亿、2 万亿美元。”“这是我们全部关注的事情;而对他们来说,这只是一个副业项目。”
常见问题
什么是决策模型?它们与普通 LLM 有什么不同?
决策模型是不会生成输出 token 的 LLM。相反,它们经过调优,能够利用通用智能,在预设选项之间快速、低成本地做出选择,同时记录对选择的置信度。它们适用于生产环境,在这种环境中,快速决策可能比速度更慢、成本更高的前沿模型所提供的推理更重要。
最近有哪些公司宣布了决策模型方面的进展?
周二,微软 CEO Satya Nadella 宣布,公司正立即将其 Decision-1.1 模型推广至 Azure,供广泛使用。今天,Sqwish 宣布为其 kettei fat 决策模型完成 300 万美元种子前轮融资。TypeSafe 的 Jev 模型系列继续主导使用情况;上周,OpenRouter 处理了超过 15 亿次发往 TypeSafe 模型的查询。
基准测试对评估决策模型有多重要?
大多数开发者表示,基准测试对现实场景表现的评估价值有限。Sqwish CEO Ushnish Sengupta 告诉 TechCrunch:“基准测试更像是邀请大家试用模型,而持续调优才是他们应该继续选择我们的原因。”微软的 Achint Srivastava 写道:“‘基准测试至上’的模型在真实企业场景中很快就会表现失常。”