据科技媒体MarkTechPost于2026年10月14日发布的排名,Bifrost、Portkey和LiteLLM进入2026年最受生产团队关注的AI网关前列。该报道称,AI网关是应用与模型提供商之间的控制层,用一个API连接多种模型,并集中处理路由、重试、故障转移、缓存、预算和日志。

该媒体称,2026年这一市场变化迅速。Palo Alto Networks于5月29日完成对Portkey的收购;Mintlify收购Helicone,后者处于维护模式;LiteLLM在3月遭遇PyPI供应链攻击后继续运营。网关选择因此不仅涉及功能,也涉及供应商和安全风险。

排名依据六项标准:性能证据、覆盖、治理、部署、成本、供应商与供应链风险。Bifrost在自托管性能项上居首。它以Go编写,采用Apache 2.0许可证,通过兼容OpenAI的API接入23家以上提供商,GitHub星标8.7K。其README称在t3.xlarge上每秒5000次请求下额外延迟11微秒;Maxim基准称每秒500次请求下P99延迟1.68秒,LiteLLM为90.72秒。它支持自动回退、加权负载均衡、语义缓存、虚拟密钥和MCP网关,并提供OpenAI、Anthropic和Google GenAI SDK直连端点。

Portkey被评为兼具路由和护栏能力的开源网关。它采用MIT许可证,GitHub星标13K,声称可路由至1600多个模型,延迟低于1毫秒,体积122KB。Gateway 2.0预发布版把企业网关并入开源。Palo Alto Networks现拥有Portkey,并将其并入Prisma AIRS。功能涵盖回退、重试、条件路由、负载均衡、输入输出护栏,以及带集中认证和工具调用日志的MCP网关。其免费层含1万次记录请求,付费每月49美元起。

LiteLLM被列为采用最广的开源LLM网关,GitHub星标53.8K,支持100多家提供商,以Python SDK和代理服务器发布。它支持聊天、嵌入、图像、音频、批处理、重排、MCP和A2A端点,自身基准称每秒1000次请求下P95延迟8毫秒。其功能包括虚拟密钥、按团队支出跟踪、预算、RPM/TPM限制,以及带重试、回退和负载均衡的路由器,还提供管理界面、护栏、日志输出和面向AWS、GCP的Terraform模块。

其余入榜者覆盖不同需求。Kong AI Gateway面向API平台团队,在同一技术栈中处理LLM、MCP和A2A流量,提供免费试用和付费插件。TrueFoundry支持VPC、本地、气隙和SaaS,覆盖1600多个模型,内部延迟低于3毫秒,每月免费3万次请求。Cloudflare AI Gateway为托管边缘方案,支持主要提供商和Workers AI,核心功能免费。Vercel AI Gateway不对token加价。OpenRouter按信用额度收取5.5%费用。Orq.ai Router覆盖400多个模型和20多家提供商,提供免费层。