TypeSafe、微软、Sqwish 推动 AI 决策模型应用激增

MSFT-2.46%

关键要点

  • TypeSafe 的 Jev 模型系列引领了决策模型的普及,在 OpenRouter 上处理了 15 亿次查询;该系列于 9 月发布后,TypeSafe 的估值达到 75 亿美元。
  • 微软首席执行官萨提亚·纳德拉于周二宣布在 Azure 上推出 Microsoft-Decision-1.1,使微软得以在迅速扩张的决策模型领域参与竞争。
  • Sqwish 宣布完成 300 万美元种子前轮融资,用于开发其 kettei fat 决策模型,并提供内置的后训练工具,利用客户生产数据持续改进模型。

TypeSafe、微软和初创公司 Sqwish 正在推动决策模型迅速普及。决策模型是一种新型 AI,不生成文本,而是在预设选项之间做出选择。据该平台的指标显示,10 月,Vercel 的 AI 模型路由器上超过四分之一的请求都发给了决策模型。周二,微软 CEO Satya Nadella 宣布,公司正将其 Decision-1.1 模型推广至 Azure,供广泛使用;而 Sqwish 今天宣布为其 kettei fat 决策模型完成 300 万美元种子前轮融资。此次热潮是在 TypeSafe 于 9 月推出 Jev 模型系列之后兴起的,该系列成为这家公司获得 75 亿美元估值的基石。在生产环境中,速度比详细推理更重要,决策模型因此成为前沿大型语言模型的一种更快、更便宜的替代方案。

TypeSafe 凭 Jev 系列主导决策模型使用

TypeSafe 的 Jev 模型系列继续主导各个平台上的决策模型使用情况。据该服务的指标显示,上周 OpenRouter 处理了超过 15 亿次发往 TypeSafe 模型的查询。该公司发布 Jev 后估值达到 75 亿美元;在公开可见的使用指标中,Jev 仍是领先选项。

决策模型是不会生成输出 token 的 LLM。相反,它们利用通用智能,在预设选项之间快速做出选择,同时记录对选择的置信度。TypeSafe CEO Diogo Almedia 告诉 TechCrunch,打造 Jev 最困难的部分,是利用经过统计调整的合成数据,精细校准其判断能力。

微软在 Azure 平台推出 Decision-1.1 模型

微软 CEO Satya Nadella 周二表示,公司正立即将其决策模型 Microsoft-Decision-1.1 推广至 Azure,供广泛使用。该模型标志着微软进入这一类别;自 TypeSafe 推出相关模型以来,这一类别迅速涌现出大量产品。

领导该项目的工程副总裁 Achint Srivastava 在一封邮件中写道,Microsoft-Decision-1.1 是对成本、延迟、智能和校准能力进行审慎权衡的结果。Srivastava 写道:“我们的测试凸显出,要在单一模型中实现准确性、可靠性、速度和成本效益,是多么具有挑战性。Microsoft-Decision-1.1 和 Jev 是少数能够在这四个维度上都表现出色的模型,即使是在反映真实用例的‘留出’或未见过的基准测试中进行评估,表现也是如此。”

Sqwish 为可定制决策模型融资 300 万美元

总部位于英国的 AI 初创公司 Sqwish 今天宣布为其名为 kettei fat 的决策模型完成 300 万美元种子前轮融资。联合创始人 Ushnish Sengupta 和 Federica Freddi 在剑桥大学读研究生时相识;Jev 问世前,他们一直在开发小型 LLM。他们意识到,自己的架构可以改造为功能强大的决策模型。

这家初创公司的独特之处在于内置了后训练工具,可利用客户自己的数据提升模型的判断能力。Sqwish CEO Ushnish Sengupta 告诉 TechCrunch:“我认为,我们之所以不是一种普通商品,是因为我们为客户提供了同样的能力……他们可以持续上传生产数据,就像我们训练模型的方式一样,他们的模型也能在他们关注的任务上不断改进。”

数据质量决定决策模型表现

数据似乎是这一类别模型能否成功的关键。TypeSafe CEO Diogo Almedia 告诉 TechCrunch,打造 Jev 最困难的部分,是利用经过统计调整的合成数据,精细校准其判断能力。Sqwish 也一直在为其 kettei fat 模型使用合成数据。

决策模型易于创建,这推动了它们迅速涌现。一位亚马逊工程师用了一个周末就做出了一个,很快每家超大规模云服务商都有了自己的产品。Jev 推出后,数十种模型相继问世。

基准测试对现实场景评估的价值有限

据这项技术的开发者称,要给决策模型排名并不容易。大多数人表示,真正的检验在于生产环境中的使用;开发者通常可以轻松地用一个模型替换另一个,并观察它在特定场景中的表现。

Sengupta 说:“基准测试更像是邀请大家试用模型,而持续调优才是他们应该继续选择我们的原因。”微软的 Srivastava 也认同,过度关注基准测试是个错误。Srivastava 写道:“我们发现,‘基准测试至上’的模型在真实企业场景中很快就会表现失常。”

Freddi 告诉 TechCrunch,未来的系统将由所谓的系统一智能(例如决策模型)与系统二智能(例如前沿 LLM)协同工作。她说:“即使到了那个未来,系统一的市场价值也许是 100 亿、500 亿 [opportunity],而 OpenAI 正在进行 IPO,你知道,它瞄准的市值是 1 万亿、2 万亿美元。”“这是我们全部关注的事情;而对他们来说,这只是一个副业项目。”

常见问题

什么是决策模型?它们与普通 LLM 有什么不同? 决策模型是不会生成输出 token 的 LLM。相反,它们经过调优,能够利用通用智能,在预设选项之间快速、低成本地做出选择,同时记录对选择的置信度。它们适用于生产环境,在这种环境中,快速决策可能比速度更慢、成本更高的前沿模型所提供的推理更重要。

最近有哪些公司宣布了决策模型方面的进展? 周二,微软 CEO Satya Nadella 宣布,公司正立即将其 Decision-1.1 模型推广至 Azure,供广泛使用。今天,Sqwish 宣布为其 kettei fat 决策模型完成 300 万美元种子前轮融资。TypeSafe 的 Jev 模型系列继续主导使用情况;上周,OpenRouter 处理了超过 15 亿次发往 TypeSafe 模型的查询。

基准测试对评估决策模型有多重要? 大多数开发者表示,基准测试对现实场景表现的评估价值有限。Sqwish CEO Ushnish Sengupta 告诉 TechCrunch:“基准测试更像是邀请大家试用模型,而持续调优才是他们应该继续选择我们的原因。”微软的 Achint Srivastava 写道:“‘基准测试至上’的模型在真实企业场景中很快就会表现失常。”

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论