Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

RLHF

Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.

Aussi appelé : reinforcement learning from human feedback

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Un modèle préentraîné prédit du texte probable, ce qui n'est pas la même chose que donner une réponse utile et honnête. Le RLHF est une façon de combler cet écart. Il a été largement popularisé par l'article InstructGPT d'OpenAI (Ouyang et al., 2022), qui a transformé GPT-3 en un modèle qui suit les instructions.

Comment ça marche

La recette d'InstructGPT comporte trois étapes. D'abord, des personnes rédigent de bonnes réponses à des prompts et le modèle subit un fine-tuning supervisé sur ces réponses. Ensuite, le modèle écrit plusieurs réponses par prompt et des annotateurs les classent ; un modèle de récompense distinct est entraîné à prédire ces classements. Enfin, le modèle est entraîné par apprentissage par renforcement (PPO dans l'article) à produire des réponses que le modèle de récompense note bien, tandis qu'une pénalité l'empêche de trop s'éloigner du modèle de départ.

Dans les évaluations humaines de l'article, les sorties d'un modèle InstructGPT de 1.3B paramètres ont été préférées à celles de GPT-3 et ses 175B, alors qu'il avait 100 fois moins de paramètres.

Limites

Le RLHF est coûteux et délicat. Il demande beaucoup d'annotation humaine, un second modèle et une boucle d'apprentissage par renforcement qui peut être instable. Le modèle peut apprendre à exploiter les faiblesses du modèle de récompense plutôt qu'à progresser vraiment. Les préférences des annotateurs façonnent aussi le résultat, ce qui fait partie du débat plus large sur l'alignement de l'IA.

RLHF et DPO

La direct preference optimization utilise le même type de données de préférences mais se passe du modèle de récompense distinct et de la boucle d'apprentissage par renforcement, ce qui explique que beaucoup de modèles ouverts l'utilisent désormais, ou une variante, à la place.

Termes liés

Direct preference optimization
La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
Modèle de récompense
Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Alignement de l'IA
L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.

Sources