Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

RLHF

O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.

Também chamado: reinforcement learning from human feedback

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

Um modelo pré-treinado prevê texto provável, o que não é o mesmo que dar uma resposta útil e honesta. O RLHF é uma forma de fechar essa lacuna. Ele ficou amplamente conhecido com o artigo do InstructGPT da OpenAI (Ouyang et al., 2022), que transformou o GPT-3 em um modelo que segue instruções.

Como funciona

A receita do InstructGPT tem três etapas. Primeiro, pessoas escrevem boas respostas para prompts e o modelo passa por supervised fine-tuning com elas. Segundo, o modelo escreve várias respostas por prompt e anotadores as ordenam; um reward model separado é treinado para prever esses rankings. Terceiro, o modelo é treinado com aprendizado por reforço (PPO, no artigo) para produzir respostas que o reward model avalia bem, enquanto uma penalidade o impede de se afastar demais do modelo inicial.

Nas avaliações humanas do artigo, as saídas de um modelo InstructGPT de 1,3B parâmetros foram preferidas às do GPT-3 de 175B, apesar de ter 100x menos parâmetros.

Limites

O RLHF é caro e trabalhoso. Ele exige muita anotação humana, um segundo modelo e um loop de RL que pode ser instável. O modelo pode aprender a explorar fraquezas do reward model em vez de melhorar de verdade. As preferências dos anotadores também moldam o resultado, o que faz parte do debate mais amplo sobre alinhamento de IA.

RLHF e DPO

A direct preference optimization usa o mesmo tipo de dado de preferência, mas dispensa o reward model separado e o loop de RL, por isso muitos modelos abertos hoje a usam, ou uma variante, no lugar.

Termos relacionados

Direct preference optimization
Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
Reward model
Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.
Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
Alinhamento de IA
Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.

Fontes