据量子位10月2日报道,openJiuwen平台首发X-Router自演进模型路由技术。该技术面向AI Agent,在Agent与模型之间增加请求级智能决策层,根据任务复杂度和系统状态动态选模,宣称具备昇腾亲和特性,实测减少50%以上Token消耗。openJiuwen由华为2012实验室、华为云、终端、计算、算力先遣队等团队联合高校、企业及开发者共同构建。

报道称,当前多数AI应用一个模型包打天下,简单任务调用昂贵模型,复杂任务交给轻量模型则效果不稳,固定规则难跟上业务与模型变化。openJiuwen智能路由的目标是让Agent自行判断这一轮该由谁处理,并基于任务复杂度动态决策与编排群智协同及最优模型选择,实现成本与效果综合最优。

这套路由体系分为三层。精准画像基于历史数据离线刻画模型能力,并在线动态刷新,模型版本或表现变化时更新时延优于1分钟,覆盖任务类型、难度、时延功耗和成本。决策环节结合最近对话窗口、工具调用进展和最近一次用户诉求,纳入KV缓存亲和、实时负载、目标可用性等状态,再用启发式优化算法选出最优模型,而非看起来最强的模型。

演进环节采用状态解耦:算法是纯函数,跨请求记忆外置到状态层,宿主每次调用后回报结果、耗时、花费和质量,写回状态层供下一轮使用。样本不足或优势不明显时保留原判定。运行时依靠Contextual Bandit和轻量强化学习积累经验,画像更新、算法替换和策略升级独立迭代。x-router是其中一个算法模块,基于五档复杂度分档,支持端云分级、本地能力边界判断、进程内小模型分类器和失败降级永不升级,并用上下文Bandit做经验修正。

多模型协同方面,openJiuwen已在WorkSwarm的MoA中实现相关能力。路由决定这一轮是否发动多个模型、发动哪几个,MoA负责语义去重、质量筛选、冲突消解和压缩整理,将结果聚合为更高质量答案。策略自编排把模型、Skill/Tool、SubAgent放入同一调度框架,并通过反馈Hook点和Fallback机制总结执行结果和错误根因,使路由从选模型升级为编排整个执行策略。

报道指出,模型路由最难的不是能否选择,而是在成本、时延、质量和上下文或工具兼容性之间实时权衡。openJiuwen把权衡做成可配置、可演进、可观测的系统,架构将Algorithm、State、Evolving三块解耦,向上对接WorkSwarm和MoA,向下对接候选模型池,对外以纯函数接口调用。据该报道披露,启用智能路由后实测可减少50%以上Token消耗,随着Agent持续运行,路由策略会从真实反馈中学习,以实现越跑越省。