VocabX 如何专用化 SLM 词汇表以在实际应用中降低 77% 推理成本

VocabX 方法按 token 成本而非频率为 Qwen3-4B 重建词汇表，在不改基础模型的情况下，把葡萄牙语作文评分应用的实测推理成本降低 77%。该应用原 tokenizer 有 151,669 个词表项，生成 token 成本是读取 token 的 7.4 倍；专用词表替换后，输出层从约 152,000 行降至约 65,000 行。