据 TechCrunch 报道,OpenAI 于周四正式向所有客户开放 Decisions API,进军由 TypeSafe 的 Jev 主导的决策模型市场。该 API 将推理延迟从 1 至 3 秒降至 100-180 毫秒,使分类和路由等应用能够更快地做出决策。
在 Box、Datadog、Ramp 和 Speak 等客户的早期试用中,Decisions API 取代了规模更大的语言模型,并显著提高了吞吐量。Speak 首席技术官 Andrew Hsu 表示,该 API 将操作间的响应时间从 1.4 秒缩短至 0.13 秒。OpenAI 通过重新配置 ChatGPT Luna 构建了 Decisions API,以实现更快的推理和更低的成本,并在公开发布版本中加入了语音和视觉模态。