NVIDIA发布Nemotron 3.5 Bolt E4B 4GB小模型，面向本地语音助手与机器人

据MarkTechPost报道，NVIDIA于2026年10月24日发布开放小语言模型Nemotron 3.5 Bolt E4B 4GB，面向在RTX、Jetson和Spark硬件上本地运行的语音助手、游戏角色和机器人接口。该模型让开发者在约4GB显存内运行代理行为，并为语音和视觉模型留出空间。

Bolt E4B总参数8B、有效参数4B，支持64K上下文。它从Google的Gemma 4 E4B后训练而来，训练过程仅使用强化学习，未采用监督微调。NVIDIA研究团队称，SFT虽能改善工具调用，却会损害Gemma的对话质量和简洁度，因此改用NeMo-RL和NeMo-Gym执行RLVR与RLHF。每条训练样本都在推理和非推理模式下运行，每批保持非推理样本与推理样本2比1的比例，GenRM环境中的长度惩罚用于抑制答案在训练中变长。数据集和完整训练配方已公开。

目标负载包括设备和语音助手、互动角色以及嵌入式或工业代理。模型具备多轮工具调用和异步工具调用指引，提供conversational_mode标志以生成简短、适合语音播报的回复，并允许配置推理及运行时思考预算以限制延迟。64K上下文用于承载历史、工具定义和应用状态。研究报告中，一台Reachy Mini机器人在Jetson Orin Nano 8GB上运行，由Cosmos 3 Edge处理视觉，Bolt负责语音回复和工具调用。NVIDIA团队还称Bolt是面向NVIDIA ACE游戏角色的第三代小模型。

部署方面，NVIDIA将BF16检查点量化为Q4_K_M，采用重要性矩阵校准，校准使用约100万token的强化学习rollout。发布包还包含用于推测解码的DFlash草稿模型。NVIDIA测试显示，在RTX 5070上，Bolt配合DFlash达到272.6 token/秒，Gemma 4 E4B配合其MTP草稿模型为225.9 token/秒，Bolt快1.21倍。NVIDIA测试中，Q4_K_M版本在RTX上的显存占用为3.1至4.3GB。

NVIDIA在21项基准中按5个能力领域测试，所有分数为BF16，并在其NeMo-Gym测试框架中测得。推理模式下Bolt在21项中领先15项，对比对象包括Gemma 4 E4B、Qwen3.5-4B和Nemotron 3 Nano 4B。其IHEval得分为84.8，Gemma 4 E4B为67.0，Qwen3.5-4B为60.6；Tau2-Bench得分为55.1，比Qwen3.5-4B的75.1低约20分。NVIDIA还报告其平均分比Nemotron 3 Nano 4B高约40%，在启用推理的比较中输出token最多减少80%。另据一则X帖子，Scale Labs将Bolt排在MultiChallenge小模型首位，得分为56.03%。