RLHF
O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
Também chamado: reinforcement learning from human feedback
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Um modelo pré-treinado prevê texto provável, o que não é o mesmo que dar uma resposta útil e honesta. O RLHF é uma forma de fechar essa lacuna. Ele ficou amplamente conhecido com o artigo do InstructGPT da OpenAI (Ouyang et al., 2022), que transformou o GPT-3 em um modelo que segue instruções.
Como funciona
A receita do InstructGPT tem três etapas. Primeiro, pessoas escrevem boas respostas para prompts e o modelo passa por supervised fine-tuning com elas. Segundo, o modelo escreve várias respostas por prompt e anotadores as ordenam; um reward model separado é treinado para prever esses rankings. Terceiro, o modelo é treinado com aprendizado por reforço (PPO, no artigo) para produzir respostas que o reward model avalia bem, enquanto uma penalidade o impede de se afastar demais do modelo inicial.
Nas avaliações humanas do artigo, as saídas de um modelo InstructGPT de 1,3B parâmetros foram preferidas às do GPT-3 de 175B, apesar de ter 100x menos parâmetros.
Limites
O RLHF é caro e trabalhoso. Ele exige muita anotação humana, um segundo modelo e um loop de RL que pode ser instável. O modelo pode aprender a explorar fraquezas do reward model em vez de melhorar de verdade. As preferências dos anotadores também moldam o resultado, o que faz parte do debate mais amplo sobre alinhamento de IA.
RLHF e DPO
A direct preference optimization usa o mesmo tipo de dado de preferência, mas dispensa o reward model separado e o loop de RL, por isso muitos modelos abertos hoje a usam, ou uma variante, no lugar.
Termos relacionados
- Direct preference optimization
- Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
- Reward model
- Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.
- Supervised fine-tuning
- O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Alinhamento de IA
- Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.