Cuando un equipo afina un modelo abierto para una sola tarea concreta, suele cambiar los pesos y dejar el tokenizador como está. Dharma-AI sostiene que es una costumbre cara. En un artículo en Hugging Face que adelanta un trabajo aún en revisión, informa de que redujo un 77% el coste de inferencia medido de un modelo en producción reconstruyendo solo su vocabulario, con el mismo modelo base, los mismos datos y la misma receta de entrenamiento.
El modelo es un evaluador de redacciones en portugués basado en Qwen3-4B que devuelve una valoración en JSON para cada competencia. Su tokenizador era el original, pensado para muchos idiomas y tipos de texto, con 151.669 entradas. Eso provoca dos tipos de despilfarro. Las frases que el evaluador escribe en cada petición, como su envoltorio JSON y los nombres de las competencias, se dividen en muchos tokens. Y en cada token generado el modelo puntúa todo el vocabulario, incluidas entradas que esta tarea nunca usa; en un modelo de este tamaño, la capa de salida que hace ese trabajo concentra casi el 10% de los parámetros.
El método, llamado VocabX, cambia lo que optimiza el vocabulario. En lugar de elegir tokens nuevos según la frecuencia del texto, pondera cada ahorro por su coste, y en este caso un token generado costaba 7,4 veces más que uno leído, así que el ahorro en la respuesta cuenta mucho más. Además trabaja en dos niveles a la vez: rehace cómo se trocean las palabras y convierte tramos largos que se repiten, desde expresiones hasta estructuras JSON completas, en macrotokens únicos. Una estimación estadística para candidatos ausentes de la muestra elevó la reducción de tokens en un corpus de contratos del 44,7% al 52,8%. En el evaluador, las respuestas medias bajaron de 350 a 101 tokens y una puntuación de calidad subió de 0,703 a 0,810, medidas en 500 peticiones con vLLM en una RTX 5090.
El resultado interesa a cualquiera que ejecute a gran volumen un modelo pequeño afinado, sea con Qwen o con Gemma. Los autores comparan su enfoque con métodos existentes, como la ampliación del tokenizador in situ de Liquid AI, y dicen que estos eligen tokens por frecuencia y trabajan en un solo nivel.
Hace falta cautela. Las cifras vienen de una única tarea en producción con un formato de salida muy repetitivo, que es casi el mejor caso para esta técnica. El artículo aún no se ha publicado, y los autores advierten de que las cifras pueden cambiar. La relación de coste entre tokens generados y leídos depende del hardware, del tamaño de lote y de la longitud del contexto, así que el ahorro variará. Vale la pena probar el método, pero todavía no darlo por hecho.