Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Reward model

Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.

Também chamado: preference model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

As pessoas não conseguem avaliar milhões de saídas de modelos durante o treinamento, então um reward model as substitui. Ele geralmente é um modelo de linguagem com a camada final trocada por uma saída de um único número. Ele aprende com comparações: diante de um prompt e duas respostas, mais a informação de qual delas uma pessoa preferiu, ele é treinado para dar uma nota maior à preferida.

Onde é usado

Os reward models são o núcleo do RLHF. No trabalho de sumarização da OpenAI e depois no InstructGPT, pessoas compararam ou ordenaram saídas, um modelo aprendeu a prever a preferência delas, e esse modelo então serviu como função de recompensa para o aprendizado por reforço do modelo de política. A política geralmente é o resultado de supervised fine-tuning.

Eles também são usados fora do treinamento: para escolher a melhor entre várias respostas amostradas na hora da inferência, que é uma forma de test-time compute, e para filtrar ou ordenar dados sintéticos.

Reward model versus DPO

O DPO dispensa o reward model separado e treina o modelo de linguagem diretamente com pares de preferência. Ele é mais simples de rodar, por isso muitos modelos abertos o usam. Um reward model separado ainda é útil quando você quer um avaliador reutilizável ou aprendizado por reforço online.

Limites

Um reward model é só uma aproximação do que as pessoas querem. Uma política otimizada com força contra ele pode encontrar saídas que tiram boa nota, mas não são realmente melhores, como respostas longas ou bajuladoras. Isso se chama reward hacking, e os pipelines de treinamento o limitam penalizando a política quando ela se afasta demais do ponto de partida.

Termos relacionados

RLHF
O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
Direct preference optimization
Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
LLM-as-a-judge
LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
Alinhamento de IA
Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.

Fontes