据SiliconANGLE报道,Stripe公司计划收购OpenRouter公司,令动态模型路由受到关注。报道称,随着人工智能在企业中渗透,IT组织需要理解动态模型路由对成本、质量和性能的影响。

企业已很快意识到,不该让所有任务都依赖同一个模型。不同模型在性能、延迟、成本、隐私和特定领域准确性上各有优势。模型路由提供的是一层智能决策,依据当下的需求与条件,把任务导向最合适的模型或推理端点。

报道将这一变化与多年前软件定义广域网(SD-WAN)的经历相提并论。当数字环境变得更分布式、更动态且关乎关键业务时,静态决策必须让位于能够评估上下文并实时调整的系统,以交付尽可能好的体验。

网络的角色此前已经转变过一次。随着应用走出数据中心,进入多个云和软件即服务环境,网络不再只是建立连接,而是要交付业务所需的体验。流量模式越发分散之后,SD-WAN变得更懂应用、更由策略驱动、更具自适应能力,现代广域网架构使用应用类型、路径性能、安全策略、可用性和业务优先级等信号,把合适的体验经由合适的路径、套用合适的策略送达。

模型路由在堆栈的另一个层次提出类似难题。问题不再是AI请求能否得到回答,而是哪个模型、端点或环境最适合回答它,判断依据包括任务本身、性能要求、成本、隐私约束和当前条件。就像广域网路由因纳入更丰富的信号而更有价值,模型路由也需要类似基础。“最好”的模型无法用单一指标确定:最便宜的模型可能达不到准确性要求,最快的模型可能满足不了隐私需要。缺少清晰的策略、可见性和控制,动态决策带来的可能是不可预测,而非敏捷。

报道认为,模型路由不必照搬广域网路由,但仍需建立在上下文、策略、可见性和控制之上。SD-WAN架构持续收集路径性能、应用身份和安全态势的实时遥测数据,再由集中式策略引擎引导流量;应用感知的导流实时评估延迟和丢包,自动切换到更优路径;可观测性平台让IT团队获得横跨分支机构、云和SaaS的统一视图,从而持续验证路由决策,而非一次设定后不再过问。

AI工作流与以往不同。传统应用在用户、数据中心和应用之间的路径相对可预测,AI改变了这一点:一次AI交互可能启动跨越分支机构、多个云、SaaS应用、数据存储和多个模型的工作流,AI代理调用服务、检索数据、触发动作并动态生成新请求。每一步都可能带来不同要求,有些数据需要留在特定环境内,有些请求需要低延迟,另一些则优先考虑成本效率,或需要更强的安全控制与更细致的可审计性。其中不少依赖关系可能位于企业并不直接拥有或控制的环境中。

在分支机构和边缘侧,智能动态路由的必要性尤其明显。多数零售门店、银行网点、诊所、工厂、学校和公共部门场所已依赖云应用。随着客户交互、临床流程、欺诈分析、库存核查和现场服务请求越来越依赖分散在云、SaaS平台、私有环境和AI服务中的应用与数据,AI会进一步增加复杂度,延迟、中断、策略缺口和有限的可见性会拖慢业务并加重IT运维负担。报道称,分支机构不能再被当作静态端点,它需要网络、安全、自动化和可观测性协同工作,让AI服务安全可靠地运行。