据TechCrunch AI报道,OpenAI于周四向所有客户开放Decisions API,首次大范围提供其决策模型。该产品进入一个由TypeSafe的Jev模型开辟的快速、低成本智能市场;这类决策模型或System One模型可被视为超级分类器,在给定一组选项时快速作出选择,并给出置信度。开发者发现,它们能在多种工作流中替代大语言模型,运行更快且成本大幅降低。

OpenAI API产品负责人Nikunj Handa对TechCrunch表示,团队看到Jev后认为“我们有上百万种用例”。OpenAI没有专门构建经过校准的决策模型,而是将ChatGPT Luna重新配置,以加快推理并降低成本。Handa说,Decisions API的一大突破是速度,把响应时间从一到三秒缩短到100、120、180毫秒;“未来我们可能会进行特定训练,让模型在这些方面更好,但现在只是普通的Luna完成了工作。”

Decisions API在9月29日公司开发者日活动上宣布,周四向所有客户开放。公开版本增加了新的语音和视觉模态,并通过在地理上配置推理资源来降低全球各地区的延迟。在Box、Datadog、Ramp和Speak等客户的初步试用中,工程师用该API替换OpenAI的大语言模型,以获得更高吞吐量。Speak首席技术官Andrew Hsu说,Decisions API让该公司把动作之间的时间从1.4秒缩短到0.13秒。OpenAI还用该产品提升了Dots语音助手的响应速度。

目前,什么才算好的决策模型仍不明确,除了“对你有用”之外,智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe首席执行官Diogo Almeida不信任基准测试,并建议人们在自己的工作中试用模型,但TypeSafe上周在发布最新Jev模型时也公布了自己的排名。AIM System One Index和Artificial Analysis Decision Index等公开基准倾向于Liquid上周发布的新决策模型D1 Ultra和Base Lab的Elephant-1;最新Jev模型在两个指数上分别位列第七和第三,OpenAI的决策模型分别位列第八和第十四。不过,TypeSafe的产品目前是OpenRouter上被查询最多的。

Opper AI构建的JevMan基准让决策模型玩吃豆人,最新Jev模型在该排名中居首。Opper AI首席增长官Felix Wunderlich说,这款经典游戏“是一个有趣的测试,因为它持续产生快速、高风险的决策。在每个路口,模型必须在几百毫秒内决定往哪走。”OpenAI可能更具优势的地方是多模态。Handa对TechCrunch说,在图像分类方面,“Luna非常强大,并表现出更好的校准”,OpenAI客户希望Decisions API在将图像用作输出方面更灵活。Handa还看到进一步提速能带来新用例:“我们能不能做到约60毫秒,然后你可以想象为视频的每一帧调用这样的API?”