チームがオープンモデルを1つの狭い仕事向けに微調整するとき、普通は重みを変えてトークナイザーはそのままにします。Dharma-AIは、それが高くつく習慣だと主張します。まだ査読中の論文を先取りして紹介するHugging Faceの記事で、同社は、ベースモデル、データ、学習レシピをそのままに語彙だけを作り直すことで、本番で使うモデルの実測の推論コストを77%削減したと報告しています。
対象は、ポルトガル語の作文を採点するQwen3-4Bベースのモデルで、評価項目ごとにJSONで評価を返します。トークナイザーは多くの言語と文章の種類向けに作られた元のもので、151,669の項目がありました。これが2種類の無駄を生みます。採点モデルが毎回書くJSONの外枠や評価項目名といった定型句が、多くのトークンに分割されること。そして、生成するトークンごとに、この仕事では使わない項目も含めて語彙全体を採点していることです。この規模のモデルでは、その処理を担う出力層がパラメータのほぼ10%を占めます。
VocabXと呼ばれる手法は、語彙が最適化する対象を変えます。新しいトークンを文字列の出現頻度で選ぶのではなく、削減の効果をそのコストで重み付けします。今回の例では生成トークン1つのコストが読み込みトークンの7.4倍だったため、応答側での削減がはるかに重視されます。また2つの階層で同時に働き、単語の区切り方を作り直すとともに、表現からJSONの構造全体まで、長く繰り返される部分を1つのマクロトークンにまとめます。標本 に現れない候補を統計的に推定することで、契約書のコーパスでのトークン削減率は44.7%から52.8%に上がりました。採点モデルでは、RTX 5090上のvLLMで500件のリクエストを測定し、平均の応答は350トークンから101トークンに減り、品質スコアは0.703から0.810に上がりました。
この結果は、QwenでもGemmaでも、小型の微調整モデルを大量に動かしている人に関係します。著者らは、Liquid AIの既存語彙を拡張する手法を含む既存の方法と比べ、それらは頻度でトークンを選び、1つの階層でしか働かないと述べています。
注意が必要です。数字は、出力形式の繰り返しが非常に多い1つの本番タスクから得たもので、この手法にとってほぼ最良の条件です。論文は未発表で、著者ら自身が数字は変わりうるとしています。生成トークンと読み込みトークンのコスト比はハードウェア、バッチサイズ、文脈の長さで変わるため、削減幅も変わります。試す価値はありますが、まだ前提にできる段階ではありません。