据 Hugging Face 博客于 2026 年 10 月 15 日发布的文章,Granite Switch 4.1 推出 Granite-Switch-4.1-8B 和 Granite-Switch-4.1-30B 两个版本,将通用决策、安全决策与语音转录三类能力组合进一个端点,其在 GPU 上的显存占用与单独运行基座模型大致相当。
该博客称,两个版本都配置了三项组件:用于通用决策的新 Decision aLoRA(例如 v1/systemone);专用的 Guardian aLoRA,在安全相关决策任务上的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash;以及内嵌的 Granite-Speech-5.0-Turbo-CTC,文章称该模型是 OpenASR 排行榜上速度最快的 ASR 模型,用于转录任务。这三项技术连同基座模型被组合为一个模型。
文章说明,由于 Switch 适配器被构建为缓存高效的 Activated LoRA,基座模型生成时建立的 KV 缓存可以复用于后续基于适配器的决策。结合该团队近期为 vLLM 提交的、用于加速低秩适配器推理的贡献,以及协同部署的 ASR 编码器,Granite Switch 4.1 可以在对话请求、决策请求和语音请求之间快速切换。
据该博客介绍,其 Speech-to-Decisions Hugging Face Space 使用 granite-switch-4.1-8b 转录音频、生成摘要、筛查有害内容,并测试另外 15 项用户自定义标志,全部在单一端点上实时运行。
博客同时表示,决策模型并非新事物。此前发布的 Granite Libraries 已提供一批专用“决策模型”适配器及其他专用任务适配器,可以组合成定制的 Granite Switch 模型。文章称,Jev 等闭源决策模型侧重通用性,而 granitelib 的许多专用适配器在专门的分类任务上能够超过通用模型;由于适配器共享基座模型的 KV 缓存,在通用决策适配器之外增加专用适配器的成本几乎为零,用户因此可以兼得通用适配器的覆盖面和专用适配器在特定任务上的更高准确率。
文章还描述了一场对比测试:Granite-Switch-4.1-30B(冻结的 Granite 基座加 4 个专用 aLoRA)与 Jev-27B(冻结的 Qwen 基座加 1 个通用决策 LoRA)相比,前者完成一个真实世界的五步 RAG 工作流要快得多。
Granite-Switch-4.1-8B 与 30B 以“batteries included”的方式发布,即预先编译了一组适配器的 Granite Switch 模型。博客称,用户不必使用官方版本,任何人都可以从 Granite Libraries 中挑选和搭配适配器,组合自己的 Granite Switch 模型。该团队还计划发布用于在 Mellea 中训练适配器的 Adapter SDK,以及相关教程和 Granite Switch 支持;这些适配器既可以是增强决策工作流的专用分类适配器,也可以是面向特定语言任务的适配器。
文章提到,一个定制的 3B 参数 Granite Switch 模型被用于玩经典游戏 Doom。与 Jev 类似,该模型会做出瞬时决策来通关,但速度达到每秒 60 至 100 次决策,而 Jev 报告的速度为每秒 10 次。与 Jev 不同的是,这个 Granite Switch 模型还能在游玩过程中进行叙述并回答提问。