Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Supervised fine-tuning

O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.

Também chamado: SFT, instruction tuning

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Um modelo base recém-saído do pré-treinamento prevê o próximo token de texto da internet. Ele não responde perguntas nem segue um formato de forma confiável. O supervised fine-tuning resolve isso mostrando ao modelo muitas demonstrações: um prompt e a resposta exata que uma pessoa gostaria. O modelo é treinado para reproduzir essas respostas.

Como se encaixa no pipeline de treinamento

Na receita do InstructGPT, que a maioria dos modelos de chat segue, o SFT vem primeiro. Anotadores escreveram demonstrações do comportamento desejado e o modelo passou por fine-tuning com elas. Só então veio o RLHF: pessoas ordenaram saídas do modelo, um reward model aprendeu com esses rankings, e o aprendizado por reforço ajustou mais o modelo SFT. Pipelines mais novos muitas vezes trocam o RLHF pelo DPO, mas o SFT continua sendo o ponto de partida. O resultado é um modelo instruct.

Para quem constrói

Quando você faz fine-tuning de um modelo aberto com seus próprios dados, quase sempre está fazendo SFT. Os dados são um arquivo de pares de entrada e saída, muitas vezes em formato de chat. Qualidade importa mais que volume: alguns milhares de exemplos limpos e consistentes costumam superar um conjunto grande e com ruído. Bibliotecas como o TRL oferecem um treinador de SFT, e o SFT muitas vezes é combinado com um método parameter-efficient como o LoRA.

Limites

O SFT ensina o modelo a imitar. Ele não consegue expressar com facilidade "esta resposta é melhor que aquela", que é o que os métodos de preferência adicionam. Ele também pode fazer um modelo copiar com confiança erros ou lacunas dos exemplos de treinamento.

Termos relacionados

Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
Modelo instruct
Um modelo instruct (modelo ajustado por instruções) é um modelo de linguagem base que passou por treinamento adicional com instruções associadas a boas respostas, e muitas vezes com feedback humano, para que siga pedidos em vez de apenas continuar texto.
RLHF
O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
Direct preference optimization
Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
Parameter-efficient fine-tuning
O parameter-efficient fine-tuning (PEFT, fine-tuning eficiente em parâmetros) adapta um modelo pré-treinado treinando apenas um pequeno número de parâmetros novos ou selecionados e deixando o resto congelado. Ele reduz a memória, o processamento e o armazenamento que o fine-tuning completo exige.
Modelo base
Um modelo base (base model) é um modelo de linguagem recém-saído do pré-treinamento, antes do ajuste por instruções ou do treinamento com feedback humano. Ele continua qualquer texto que receba, em vez de seguir instruções ou manter uma conversa.

Fontes