据 TechCrunch 报道,OpenAI 在周二的 Dev Day 活动上由首席执行官萨姆·奥尔特曼公布了一项名为 Decisions API 的新接口,其功能与 TypeSafe AI 本月早些时候发布的模型 Jev 相近,都是把大模型改造成能在预设选项之间快速、低价做出判断的分类器。奥尔特曼是在活动的一个附带环节中提到该产品的。
Jev 由 TypeSafe AI 本月发布,明确面向软件自动化场景。开发者可以向 Jev 提供一组选项,它能以较低成本、较高速度输出各项选项的概率。OpenAI 的 Decisions API 看起来属于同类产品。奥尔特曼将其描述为一种给 OpenAI 的 Luna 模型预设若干可选项的方式,例如把一张图片归入哪个类别,或让智能体采取哪种行为。
奥尔特曼说,把模型聚焦在这一选择上,就能让它运行得极快,同时保留图像理解、广泛语言支持和安全防护等能力。
TypeSafe 未回应 TechCrunch 关于该产品的提问。该公司首席执行官迪奥戈·阿尔梅达是前 OpenAI 工程师,曾参与强化学习的发明,他在 X 上以“克隆人战争开始”打趣,并称 OpenAI 的兴趣可能“是一个信号……表明以 System One 兼容的方式构建是未来方向”。System One 是 TypeSafe 的术语,指快速、直觉式的思考,与之相对的 System 2 则指审慎推理。
阿尔梅达言下之意是,现在的大模型对许多软件场景而言并不是合适的方案,因为它们相对缓慢且昂贵。开发者已用 Jev 来增强大模型,并发现这样做的速度更快、成本更低。由于 OpenAI 仅以有限预览形式发布 Decisions API,目前还不清楚它与 Jev 的相似程度,TechCrunch 也尚未发现有开发者对其进行实测。不过 X 上的讨论显示外界确有兴起。
Decisions API 并非网络上唯一类似 Jev 的接口,其他初创公司也在推出类似模型,OpenAI 不会是最后一家做这件事的科技巨头。一个关键问题是,这些决策模型的输出与真实世界的校准程度如何。阿尔梅达称,其公司的护城河是生成具有统计意义输出的合成数据。
阿尔梅达上周对 TechCrunch 说,又快又便宜很容易,要是真想又快又便宜,用骰子就行;智能才是难的部分,他的北极星始终是推动“每美元智能”的帕累托曲线。
这类模型的一个可能应用是监控和保护 AI 智能体。在旗下智能体在开放互联网上出现一系列不当行为后,OpenAI 采取的新安全措施之一,是用另一个模型以“可观的计算成本”监视不良行为。长期从事网络安全的沙波尔·纳吉布扎德创办了初创公司 QueryStory,他认为类似 Jev 的模型能以低得多的成本实现这一点。他在上周末一场黑客松上做了演示,用 Jev 对照智能体被赋予的任务检查其每一项动作,对高置信度为不良的动作予以拦截,其他动作则标记待审或放行。
理论上,这类监控本可以阻止 Hugging Face 事件,而且用 Jev 做这样的监控花费 2.94 美元,用前沿大模型则要 372 美元。一个关键观察是,Jev 的价格已经低到足以对每一项智能体动作都运行一次,这提供了一层审查,有可能整体提升智能体的可靠性。这正是 TypeSafe 希望达成的效果,如今 OpenAI 也看到了其中的价值。