据Hacker News报道，一个开发团队于8月27日发布了一款开源模型网关，称其可将API使用流量转化为更优的定制模型。该网关用Rust编写，用于在统一界面管理自托管模型、前沿模型和开源模型，并兼容不同模型和提供方在流式格式、工具调用、参数、速率限制和错误行为上的配置差异。团队称，自带密钥请求的额外延迟低于1毫秒，由平台提供密钥时低于2毫秒。网关已接入所有主流推理提供商，并通过一个自动代码代理每日刷新1000多个模型。

与同类项目相比，该项目开源、不加价，允许将本地模型与市场混合，并可选择用流量训练专属模型。团队认为，简单的路由不值得10%的代币加价。其优化思路是：基于标准化OpenTelemetry追踪，挖掘代表性真实任务，用文本世界模型模拟不同模型的输出，再由LLM评判，并在提示词的嵌入之上拟合最近邻分类器，从而为每个请求选择最优模型。团队称这通常能在成本/质量上画出一条优于单一模型的帕累托曲线，但并非完美。模拟还可用于建议缓存命中优化、新模型建议和模型训练。

该网关开源，用户可自部署或使用托管版本，托管版零加价，网站也公开了高可用性设计。