Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
Também chamado: SFT, instruction tuning
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um modelo base recém-saído do pré-treinamento prevê o próximo token de texto da internet. Ele não responde perguntas nem segue um formato de forma confiável. O supervised fine-tuning resolve isso mostrando ao modelo muitas demonstrações: um prompt e a resposta exata que uma pessoa gostaria. O modelo é treinado para reproduzir essas respostas.
Como se encaixa no pipeline de treinamento
Na receita do InstructGPT, que a maioria dos modelos de chat segue, o SFT vem primeiro. Anotadores escreveram demonstrações do comportamento desejado e o modelo passou por fine-tuning com elas. Só então veio o RLHF: pessoas ordenaram saídas do modelo, um reward model aprendeu com esses rankings, e o aprendizado por reforço ajustou mais o modelo SFT. Pipelines mais novos muitas vezes trocam o RLHF pelo DPO, mas o SFT continua sendo o ponto de partida. O resultado é um modelo instruct.
Para quem constrói
Quando você faz fine-tuning de um modelo aberto com seus próprios dados, quase sempre está fazendo SFT. Os dados são um arquivo de pares de entrada e saída, muitas vezes em formato de chat. Qualidade importa mais que volume: alguns milhares de exemplos limpos e consistentes costumam superar um conjunto grande e com ruído. Bibliotecas como o TRL oferecem um treinador de SFT, e o SFT muitas vezes é combinado com um método parameter-efficient como o LoRA.
Limites
O SFT ensina o modelo a imitar. Ele não consegue expressar com facilidade "esta resposta é melhor que aquela", que é o que os métodos de preferência adicionam. Ele também pode fazer um modelo copiar com confiança erros ou lacunas dos exemplos de treinamento.
Termos relacionados
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Modelo instruct
- Um modelo instruct (modelo ajustado por instruções) é um modelo de linguagem base que passou por treinamento adicional com instruções associadas a boas respostas, e muitas vezes com feedback humano, para que siga pedidos em vez de apenas continuar texto.
- RLHF
- O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
- Direct preference optimization
- Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
- Parameter-efficient fine-tuning
- O parameter-efficient fine-tuning (PEFT, fine-tuning eficiente em parâmetros) adapta um modelo pré-treinado treinando apenas um pequeno número de parâmetros novos ou selecionados e deixando o resto congelado. Ele reduz a memória, o processamento e o armazenamento que o fine-tuning completo exige.
- Modelo base
- Um modelo base (base model) é um modelo de linguagem recém-saído do pré-treinamento, antes do ajuste por instruções ou do treinamento com feedback humano. Ele continua qualquer texto que receba, em vez de seguir instruções ou manter uma conversa.