RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Aussi appelé : reinforcement learning from human feedback
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Un modèle préentraîné prédit du texte probable, ce qui n'est pas la même chose que donner une réponse utile et honnête. Le RLHF est une façon de combler cet écart. Il a été largement popularisé par l'article InstructGPT d'OpenAI (Ouyang et al., 2022), qui a transformé GPT-3 en un modèle qui suit les instructions.
Comment ça marche
La recette d'InstructGPT comporte trois étapes. D'abord, des personnes rédigent de bonnes réponses à des prompts et le modèle subit un fine-tuning supervisé sur ces réponses. Ensuite, le modèle écrit plusieurs réponses par prompt et des annotateurs les classent ; un modèle de récompense distinct est entraîné à prédire ces classements. Enfin, le modèle est entraîné par apprentissage par renforcement (PPO dans l'article) à produire des réponses que le modèle de récompense note bien, tandis qu'une pénalité l'empêche de trop s'éloigner du modèle de départ.
Dans les évaluations humaines de l'article, les sorties d'un modèle InstructGPT de 1.3B paramètres ont été préférées à celles de GPT-3 et ses 175B, alors qu'il avait 100 fois moins de paramètres.
Limites
Le RLHF est coûteux et délicat. Il demande beaucoup d'annotation humaine, un second modèle et une boucle d'apprentissage par renforcement qui peut être instable. Le modèle peut apprendre à exploiter les faiblesses du modèle de récompense plutôt qu'à progresser vraiment. Les préférences des annotateurs façonnent aussi le résultat, ce qui fait partie du débat plus large sur l'alignement de l'IA.
RLHF et DPO
La direct preference optimization utilise le même type de données de préférences mais se passe du modèle de récompense distinct et de la boucle d'apprentissage par renforcement, ce qui explique que beaucoup de modèles ouverts l'utilisent désormais, ou une variante, à la place.
Termes liés
- Direct preference optimization
- La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
- Modèle de récompense
- Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.
- Fine-tuning supervisé
- Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
- Fine-tuning
- Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
- Alignement de l'IA
- L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.