Comprimir um modelo para pesos de 4 bits é o jeito habitual de rodar um agente numa GPU mais barata, e o preço habitual é o agente piorar em tarefas longas, de vários passos. SteerDistill, um preprint do Institute for AI Industry Research da Universidade Tsinghua, ataca essa perda diretamente. Isso importa para quem serve agentes em hardware modesto, porque o método mira os passos em que modelos comprimidos realmente erram, e não a qualidade geral do texto.
A ideia é usar o modelo de precisão total como treinador. Quando o aluno de 4 bits falha em um turno, o modelo original sugere uma correção, o aluno a testa no ambiente e o treinador ajusta o conselho conforme o resultado. As correções que funcionam são então incorporadas ao aluno por treinamento: ele aprende a imitar o próprio comportamento orientado nesses turnos e o modelo original no restante. Na execução, o aluno trabalha sozinho. Os pesos ficam em inteiros de 4 bits em grupos de 64, e as ativações permanecem em 16 bits, a configuração chamada W4A16.
Os autores testaram três modelos, Qwen3-8B, Qwen3.5-4B e Gemma 4 12B-it, em cinco benchmarks de agentes: BFCL V4, τ²-Bench, WebShop, ALFWorld e um conjunto de perguntas e respostas com busca formado por sete datasets. Na média, o Gemma 4 12B-it marcou 64.31 contra 65.13 em precisão total, e o Qwen3-8B marcou 53.18 contra 53.54. O rival mais forte em cada caso foi o QeRL, um método de aprendizado por reforço, que ficou cerca de dois pontos atrás. No τ²-Bench com Qwen3-8B, o SteerDistill chegou a 31.68% após 32 horas de GPU em A100, enquanto o QeRL precisou de 96 horas para terminar 1.84 ponto abaixo. Com pesos de 2 bits, o Qwen3-8B caiu para 42.97, ainda à frente dos outros métodos testados.
Para quem leu nossa avaliação do Gemma 4, este é o tipo de resultado que poderia tornar um modelo de 12B prático numa única placa de consumo para trabalho com chamadas de ferramentas. A maior parte da pesquisa sobre quantização ainda mede perplexidade ou acerto em respostas curtas, o que diz pouco sobre se um agente vai concluir uma tarefa de doze passos. Medir o sucesso em benchmarks de agentes é um critério mais honesto, e os autores apontam um repositório no GitHub e uma página do projeto.
Os limites são reais. É um preprint e não passou por revisão por pares. Cada modelo recebeu um pós-treinamento específico da tarefa antes da quantização, então os números descrevem agentes ajustados para esses benchmarks, não modelos de chat gerais comprimidos sem ajuste. A etapa de orientação só funciona em tarefas que o modelo de precisão total resolve, de modo que as falhas que ele mesmo não resolve ficam como estão. O QeRL e outro método de comparação foram feitos para o formato NVFP4 da NVIDIA e precisaram ser adaptados à quantização inteira, o que pode tê-los prejudicado. Ganhos de dois pontos são úteis, mas modestos, e uma replicação independente em outras famílias de modelos mostraria até onde eles se sustentam.