Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Direct preference optimization

La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.

Aussi appelé : DPO

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

La DPO a été présentée par Rafailov et al. en 2023 comme une voie plus simple vers le même objectif que le RLHF. Les deux partent de données de préférences : pour chaque prompt, une réponse que les gens ont préférée et une qu'ils ont moins appréciée. Le RLHF entraîne d'abord un modèle de récompense sur ces données, puis lance un apprentissage par renforcement guidé par lui. La DPO montre que le même objectif peut être reformulé pour que le modèle de langage lui-même soit entraîné sur les paires, avec une perte qui augmente la probabilité de la réponse choisie par rapport à la réponse rejetée, mesurée par rapport à une copie de référence figée du modèle.

Pourquoi elle s'est imposée

Il n'y a pas de second modèle à entraîner ni d'échantillonnage du modèle pendant l'entraînement : la DPO se déroule donc comme un fine-tuning supervisé ordinaire. L'article la décrit comme stable, performante et légère en calcul, et rapporte des résultats égaux ou supérieurs à ceux du RLHF basé sur PPO pour les tâches testées. De nombreux outils ouverts de fine-tuning, dont Unsloth et Axolotl, la prennent en charge.

Limites

La DPO n'apprend que des paires que vous lui fournissez : la qualité des données compte donc énormément, et des préférences bruitées ou incohérentes produisent un modèle confus. Elle est généralement appliquée après le fine-tuning supervisé, pas à sa place. Comme elle fonctionne hors ligne, elle ne peut pas explorer de nouvelles réponses comme le ferait une boucle d'apprentissage par renforcement, et plusieurs variantes ultérieures tentent d'y remédier. Pour une vue d'ensemble de l'adaptation d'un modèle, voir fine-tuning.

Termes liés

RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Modèle de récompense
Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
Alignement de l'IA
L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.

Sources