Comprimir un modelo a pesos de 4 bits es la forma habitual de ejecutar un agente en una GPU más barata, y el precio habitual es que el agente empeora en tareas largas de varios pasos. SteerDistill, un preprint del Institute for AI Industry Research de la Universidad Tsinghua, ataca esa pérdida de frente. Importa a quien sirve agentes en hardware modesto, porque el método apunta a los pasos en los que los modelos comprimidos fallan de verdad, no a la calidad general del texto.
La idea es que el modelo de precisión completa haga de entrenador. Cuando el alumno de 4 bits falla un turno, el modelo original propone una corrección, el alumno la prueba en el entorno y el entrenador ajusta su consejo según lo ocurrido. Las correcciones que funcionan se integran después en el alumno, que aprende a imitar su propio comportamiento guiado en esos turnos y al modelo original en el resto. En ejecución, el alumno trabaja solo. Los pesos se guardan como enteros de 4 bits en grupos de 64 y las activaciones se quedan en 16 bits, la configuración conocida como W4A16.
Los autores probaron tres modelos, Qwen3-8B, Qwen3.5-4B y Gemma 4 12B-it, en cinco benchmarks de agentes: BFCL V4, τ²-Bench, WebShop, ALFWorld y un conjunto de preguntas y respuestas con búsqueda formado por siete datasets. En promedio, Gemma 4 12B-it obtuvo 64.31 frente a 65.13 en precisión completa, y Qwen3-8B obtuvo 53.18 frente a 53.54. El rival más fuerte en cada caso fue QeRL, un método de aprendizaje por refuerzo, que quedó unos dos puntos por detrás. En τ²-Bench con Qwen3-8B, SteerDistill llegó al 31.68% tras 32 horas de GPU en A100, mientras que QeRL necesitó 96 horas para quedarse 1.84 puntos por debajo. Con pesos de 2 bits, Qwen3-8B bajó a 42.97, aún por delante de los demás métodos probados.
Para quien haya leído nuestra reseña de Gemma 4, este es el tipo de resultado que podría hacer práctico un modelo de 12B en una sola tarjeta de consumo para trabajo con llamadas a herramientas. La mayor parte de la investigación sobre cuantización sigue midiendo perplejidad o precisión en respuestas cortas, lo que dice poco sobre si un agente terminará una tarea de doce pasos. Medir el éxito en benchmarks de agentes es una vara de medir más honesta, y los autores enlazan un repositorio de GitHub y una página del proyecto.
Los límites son reales. Es un preprint y no ha pasado revisión por pares. Cada modelo recibió un post-entrenamiento específico para la tarea antes de cuantizarse, así que las cifras describen agentes ajustados para estos benchmarks, no modelos de chat generales comprimidos tal cual. El paso de entrenamiento solo funciona en tareas que el modelo de precisión completa resuelve, de modo que los fallos que él mismo no puede resolver quedan sin cambios. QeRL y otro baseline se diseñaron para el formato NVFP4 de NVIDIA y tuvieron que adaptarse a la cuantización entera, lo que pudo perjudicarlos. Mejoras de dos puntos son útiles pero modestas, y una replicación independiente con otras familias de modelos aclararía hasta dónde llegan.