Destilação de conhecimento
A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.
Também chamado: distilled model, distillation
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
A destilação é a forma como muitos modelos de linguagem pequenos ficam bons. Em vez de aprender só com dados brutos, o aluno aprende com o que um modelo mais forte faz.
Como funciona
A ideia foi apresentada por Hinton, Vinyals e Dean em 2015. Eles mostraram que o conhecimento de um modelo grande, ou de um conjunto de modelos, pode ser comprimido em um único modelo menor e mais fácil de implantar. Na forma clássica, o aluno é treinado para reproduzir a distribuição completa de probabilidades do professor sobre as respostas, seus soft targets (alvos suaves), e não apenas o único rótulo certo. Essas probabilidades carregam um sinal extra sobre quais respostas erradas estão quase certas.
Com modelos de linguagem, uma forma moderna comum é mais simples: o professor gera respostas ou rastros de raciocínio, e o aluno passa por fine-tuning com eles, como dados sintéticos.
Exemplo
Nomes de modelos que incluem "Distill" geralmente indicam que um modelo aberto pequeno passou por fine-tuning com as saídas de um maior. A DeepSeek, por exemplo, relata ter destilado os padrões de raciocínio do seu grande modelo R1 em modelos menores.
Limites
Um aluno raramente iguala o professor em tarefas difíceis ou incomuns. Destilar a partir das saídas de um modelo comercial também pode violar os termos de serviço desse provedor, então verifique-os antes.
Termos relacionados
- Modelo de linguagem pequeno
- Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Dados sintéticos
- Dados sintéticos (synthetic data) são dados de treinamento ou de teste gerados por software, muitas vezes por outro modelo de IA, em vez de coletados de fontes do mundo real. São usados para preencher lacunas, adicionar exemplos a baixo custo ou evitar expor dados pessoais reais.
- Supervised fine-tuning
- O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
- Modelo de raciocínio
- Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.