VocabX 词汇特化方法降低77%推理成本

Dharma-AI 称，其 VocabX 方法按 token 成本而非频率为 Qwen3-4B 重建词汇表，在不改基础模型的情况下，把葡萄牙语作文评分应用的实测推理成本降低 77%。 这些数字来自仍在审稿中的论文当前版本，可能变化；测试在相同 RTX 5090 GPU、vLLM 服务器和 500 个请求上进行，成本按实测运行时间计算。原 tokenizer 有 151,669 个词表项，该应用中生成 token 成本是读取 token 的 7.4 倍，但该比例随硬件、问题、批量大小、上下文长度等因素变化。 专用词表替换后，输出层从约 152,000 行降至约 65,000 行。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。