Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Modèle de récompense

Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.

Aussi appelé : preference model

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les humains ne peuvent pas noter des millions de sorties de modèle pendant l'entraînement, alors un modèle de récompense les remplace. C'est généralement un modèle de langage dont la dernière couche est remplacée par une sortie à un seul nombre. Il apprend à partir de comparaisons : on lui montre un prompt et deux réponses, ainsi que celle qu'une personne a préférée, et il est entraîné à donner un score plus élevé à la réponse préférée.

Où on l'utilise

Les modèles de récompense sont au cœur du RLHF. Dans les travaux d'OpenAI sur le résumé puis dans InstructGPT, des personnes comparaient ou classaient des sorties, un modèle apprenait à prédire leur préférence, et ce modèle servait ensuite de fonction de récompense pour l'apprentissage par renforcement du modèle de politique. La politique est généralement issue d'un fine-tuning supervisé.

On les utilise aussi en dehors de l'entraînement : pour choisir la meilleure de plusieurs réponses échantillonnées au moment de l'inférence, une forme de test-time compute, et pour filtrer ou classer des données synthétiques.

Modèle de récompense ou DPO

DPO se passe du modèle de récompense distinct et entraîne directement le modèle de langage sur des paires de préférences. C'est plus simple à mettre en œuvre, ce qui explique que beaucoup de modèles ouverts l'utilisent. Un modèle de récompense distinct reste utile quand vous voulez un évaluateur réutilisable ou un apprentissage par renforcement en ligne.

Limites

Un modèle de récompense n'est qu'une approximation de ce que veulent les gens. Une politique optimisée trop agressivement contre lui peut trouver des sorties qui obtiennent un bon score sans être réellement meilleures, comme des réponses longues ou flatteuses. C'est ce qu'on appelle le reward hacking, et les pipelines d'entraînement le limitent en pénalisant la politique si elle s'éloigne trop de son point de départ.

Termes liés

RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Direct preference optimization
La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
LLM-as-a-judge
Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
Alignement de l'IA
L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.

Sources