Quando uma equipe ajusta um modelo aberto para uma tarefa específica, costuma mexer nos pesos e deixar o tokenizador como está. A Dharma-AI argumenta que esse hábito sai caro. Num texto no Hugging Face que antecipa um artigo ainda em revisão, a empresa relata ter cortado em 77% o custo medido de inferência de um modelo em produção reconstruindo só o vocabulário, com o mesmo modelo base, os mesmos dados e a mesma receita de treino.
O modelo é um avaliador de redações em português baseado no Qwen3-4B, que devolve uma avaliação em JSON para cada competência. O tokenizador era o original, feito para muitos idiomas e tipos de texto, com 151.669 entradas. Isso gera dois tipos de desperdício. As frases que o avaliador escreve em toda requisição, como o envelope JSON e os nomes das competências, são quebradas em muitos tokens. E a cada token gerado o modelo pontua o vocabulário inteiro, incluindo entradas que essa tarefa nunca usa; num modelo desse tamanho, a camada de saída que faz isso concentra quase 10% dos parâmetros.
O método, chamado VocabX, muda o que o vocabulário otimiza. Em vez de escolher novos tokens pela frequência do texto, ele pesa cada economia pelo seu custo, e neste caso um token gerado custava 7,4 vezes mais que um token lido, então a economia na resposta conta muito mais. Ele também trabalha em dois níveis ao mesmo tempo: refaz a forma como as palavras são cortadas em pedaços e transforma trechos longos que se repetem, de expressões a estruturas JSON inteiras, em macrotokens únicos. Uma estimativa estatística para candidatos ausentes da amostra elevou a redução de tokens num corpus de contratos de 44,7% para 52,8%. No avaliador, as respostas caíram em média de 350 para 101 tokens e uma nota de qualidade subiu de 0,703 para 0,810, medidas em 500 requisições com vLLM numa RTX 5090.
O resultado interessa a quem roda em grande volume um modelo pequeno ajustado, seja Qwen ou Gemma. Os autores comparam a abordagem com métodos existentes, como a expansão do tokenizador no lugar da Liquid AI, e dizem que esses escolhem tokens por frequência e atuam num só nível.
É preciso cautela. Os números vêm de uma única tarefa em produção com formato de saída muito repetitivo, quase o melhor caso para essa técnica. O artigo ainda não foi publicado, e os autores avisam que os números podem mudar. A relação de custo entre tokens gerados e lidos depende do hardware, do tamanho do lote e do tamanho do contexto, então a economia vai variar. O método vale um teste, mas ainda não deve ser tomado como certo.