Wenn ein Team ein offenes Modell für eine eng umrissene Aufgabe feinabstimmt, ändert es meist die Gewichte und lässt den Tokenizer unangetastet. Dharma-AI hält das für eine teure Gewohnheit. In einem Beitrag auf Hugging Face, der ein noch in Begutachtung befindliches Paper vorwegnimmt, berichtet das Unternehmen, es habe die gemessenen Inferenzkosten eines Produktivmodells um 77% gesenkt, indem es nur das Vokabular neu aufbaute, bei gleichem Basismodell, gleichen Daten und gleichem Trainingsrezept.
Das Modell ist ein Bewerter portugiesischer Aufsätze auf Basis von Qwen3-4B, der für jede Kompetenz eine Bewertung in JSON liefert. Sein Tokenizer war der ursprüngliche, gebaut für viele Sprachen und Textarten, mit 151.669 Einträgen. Das verursacht zweierlei Verschwendung. Die Wendungen, die der Bewerter bei jeder Anfrage schreibt, etwa seine JSON-Hülle und die Namen der Kompetenzen, zerfallen in viele Token. Und bei jedem erzeugten Token bewertet das Modell das gesamte Vokabular, auch Einträge, die diese Aufgabe nie nutzt; bei einem Modell dieser Größe enthält die Ausgabeschicht, die das erledigt, fast 10% der Parameter.
Die Methode namens VocabX ändert, worauf das Vokabular optimiert wird. Statt neue Token danach auszuwählen, wie häufig ein Text vorkommt, gewichtet sie jede Einsparung nach ihren Kosten. In diesem Fall kostete ein erzeugtes Token 7,4-mal so viel wie ein gelesenes, Einsparungen in der Antwort zählen also weit mehr. Außerdem arbeitet sie auf zwei Ebenen zugleich: Sie ordnet neu, wie Wörter in Stücke zerlegt werden, und macht aus langen wiederkehrenden Abschnitten, von Wendungen bis zu ganzen JSON-Strukturen, einzelne Makro-Token. Eine statistische Schätzung für Kandidaten, die in einer Stichprobe fehlen, steigerte die Token-Reduktion bei einem Korpus von Verträgen von 44,7% auf 52,8%. Beim Bewerter fielen die Antworten im Schnitt von 350 auf 101 Token, und ein Qualitätswert stieg von 0,703 auf 0,810, gemessen an 500 Anfragen mit vLLM auf einer RTX 5090.
Das Ergebnis ist für alle interessant, die ein kleines feinabgestimmtes Modell in großem Umfang betreiben, ob auf Basis von Qwen oder Gemma. Die Autoren vergleichen ihren Ansatz mit bestehenden Methoden, darunter die Tokenizer-Erweiterung an Ort und Stelle von Liquid AI, und sagen, diese wählten Token nach Häufigkeit und arbeiteten nur auf einer Ebene.
Vorsicht ist nötig. Die Zahlen stammen aus einer einzigen Produktivaufgabe mit stark wiederholtem Ausgabeformat, nahezu dem Idealfall für diese Technik. Das Paper ist noch nicht veröffentlicht, und die Autoren sagen, die Werte könnten sich ändern. Das Kostenverhältnis zwischen erzeugten und gelesenen Token hängt von Hardware, Batchgröße und Kontextlänge ab, die Einsparungen werden also schwanken. Die Methode lohnt einen Test, sollte aber noch nicht als gesichert gelten.