Direct preference optimization
Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
Também chamado: DPO
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
O DPO foi apresentado por Rafailov et al. em 2023 como um caminho mais simples para o mesmo objetivo do RLHF. Os dois partem de dados de preferência: para cada prompt, uma resposta de que as pessoas gostaram mais e outra de que gostaram menos. O RLHF primeiro treina um modelo de recompensa com esses dados e depois roda aprendizado por reforço contra ele. O DPO mostra que o mesmo objetivo pode ser reescrito para que o próprio modelo de linguagem seja treinado com os pares, com uma função de perda que aumenta a probabilidade da resposta escolhida em relação à rejeitada, medida contra uma cópia de referência congelada do modelo.
Por que pegou
Não há um segundo modelo para treinar nem amostragem do modelo durante o treinamento, então o DPO roda como um fine-tuning supervisionado comum. O artigo o descreve como estável, eficaz e computacionalmente leve, e relata resultados que igualam ou superam o RLHF baseado em PPO nas tarefas testadas. Muitas ferramentas abertas de fine-tuning, incluindo Unsloth e Axolotl, o suportam.
Limites
O DPO só aprende com os pares que você fornece, então a qualidade dos dados importa muito: preferências ruidosas ou inconsistentes produzem um modelo confuso. Ele geralmente é aplicado depois do fine-tuning supervisionado, não no lugar dele. Por ser offline, não consegue explorar respostas novas como um loop de RL consegue, e várias variantes posteriores tentam resolver isso. Para o panorama mais amplo de adaptação de um modelo, veja fine-tuning.
Termos relacionados
- RLHF
- O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
- Reward model
- Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.
- Fine-tuning
- Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
- Supervised fine-tuning
- O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
- Alinhamento de IA
- Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.