据Hugging Face博客10月21日发布的文章，一项即将发表的论文预览显示，在不改变基础模型、训练数据和训练配方的情况下，围绕每个token的成本而非出现频率重建小模型词表，可使其在生产环境中的实测推理成本降低77%。该结果来自一个基于Qwen3-4B的葡萄牙语作文自动评分系统。
文章介绍，这个评分系统接收作文、提示和支持文本，返回JSON格式的评估结果，其中包含分数以及针对每项能力的评语。模型参数为40亿，已针对该任务训练，但其tokenizer仍是Qwen3-4B的原始词表，面向多语言和多类型文本，包含151,669个条目。用于单一语言和单一响应格式时，这带来两类成本：评分器每次响应重复相同的JSON外壳、能力名称和评价短语，这些内容被拆成多个token；同时，词表保留了大量该任务几乎不用的条目，模型每生成一个token都要为全部条目计算分数。
文章称，token数量并不等于账单。推理分为prefill和decode两个阶段：prefill一次处理整个输入，受计算限制；decode逐token生成响应，每个权重读取只被使用少数几次，GPU大部分时间在等待数据从内存到达，瓶颈转为内存带宽。在这一评分器案例中，生成一个token的成本是读取一个token的7.4倍，具体比例会随硬件、问题、批次大小和上下文长度等因素变化，批处理请求可分摊权重读取，但没有解决该问题。模型最后一层LM head为每个词表条目保留一行参数，在Qwen3-4B规模模型中，该矩阵占近10%的参数。
研究团队用名为VocabX的方法重建了词表，保留相同的基础模型、相同的数据和相同的训练配方。文章称，词表通常被视为基础模型的固定属性，继承后不再改动，但对单一领域模型而言，它可能是在任何训练步骤之前就设定的最大成本杠杆之一。论文当前版本仍在审稿，文章中的数字可能变化。