10月21日,Hugging Face Blog刊登的一篇团队文章介绍了词表专门化方法VocabX。作者称,在其已投入生产的葡萄牙语作文自动评分系统中,保持基础模型、数据和训练方案相同,重建词表后,实测推理成本降低了77%。
这套系统基于40亿参数的Qwen3-4B,接收作文、题目及辅助文本,返回JSON格式的评估结果,为每项能力给出分数和评语。模型此前已经接受过针对这项任务的训练,但分词器仍沿用Qwen3-4B的原始版本,面向多种语言和多类文本,而评分系统只使用葡萄牙语和一种固定的回复格式。
作者指出,这种差异带来了两类成本:评分器反复输出的文本被拆成了比所需更多的token;模型每生成一个token,还要对包含151,669个条目的词表进行评分,其中许多条目在这项任务中几乎不会用到。VocabX重建词表时,着眼于每个token带来的成本,而不只是出现频率。
77%的降幅对应的是上述葡萄牙语作文评分应用,并非对所有模型或任务的统一结论。文章将这次披露定位为VocabX论文的部分结果预览,并明确说明,数字来自仍在评审中的论文当前版本,在正式发表前可能发生变化。
原始来源:How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
