Quand une équipe affine un modèle ouvert pour une seule tâche précise, elle modifie généralement les poids et laisse le tokeniseur de côté. Dharma-AI estime que cette habitude coûte cher. Dans un billet publié sur Hugging Face, qui présente un article encore en cours d'évaluation, l'entreprise dit avoir réduit de 77 % le coût d'inférence mesuré d'un modèle en production en reconstruisant uniquement son vocabulaire, avec le même modèle de base, les mêmes données et la même recette d'entraînement.
Le modèle est un correcteur de rédactions en portugais fondé sur Qwen3-4B, qui renvoie une évaluation en JSON pour chaque compétence. Son tokeniseur était celui d'origine, conçu pour de nombreuses langues et de nombreux types de textes, avec 151 669 entrées. Cela crée deux gaspillages. Les formules que le correcteur écrit à chaque requête, comme son enveloppe JSON et le nom des compétences, sont découpées en de nombreux tokens. Et pour chaque token généré, le modèle note tout le vocabulaire, y compris des entrées que cette tâche n'utilise jamais ; dans un modèle de cette taille, la couche de sortie qui fait ce travail concentre près de 10 % des paramètres.
La méthode, appelée VocabX, change ce que le vocabulaire optimise. Au lieu de choisir les nouveaux tokens selon la fréquence du texte, elle pondère chaque économie par son coût ; ici, un token généré coûtait 7,4 fois plus qu'un token lu, de sorte que les économies sur la réponse comptent bien davantage. Elle agit aussi sur deux niveaux à la fois : elle revoit le découpage des mots et transforme de longs passages répétés, des expressions aux structures JSON entières, en macro-tokens uniques. Une estimation statistique pour les candidats absents de l'échantillon a porté la réduction de tokens sur un corpus de contrats de 44,7 % à 52,8 %. Dans le correcteur, les réponses sont passées en moyenne de 350 à 101 tokens et un score de qualité de 0,703 à 0,810, mesurés sur 500 requêtes avec vLLM sur une RTX 5090.
Le résultat intéresse tous ceux qui font tourner à grande échelle un petit modèle affiné, sur Qwen comme sur Gemma. Les auteurs comparent leur approche aux méthodes existantes, dont l'extension du tokeniseur sur place de Liquid AI, et estiment que celles-ci choisissent les tokens selon la fréquence et n'agissent que sur un niveau.
La prudence s'impose. Les chiffres viennent d'une seule tâche en production, au format de sortie très répétitif, presque le cas idéal pour cette technique. L'article n'est pas encore publié, et les auteurs préviennent que les chiffres peuvent changer. Le rapport de coût entre tokens générés et lus dépend du matériel, de la taille des lots et de la longueur du contexte, si bien que les économies varieront. La méthode mérite d'être testée, mais pas encore d'être tenue pour acquise.