Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Fine-tuning supervisé

Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.

Aussi appelé : SFT, instruction tuning

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Un modèle de base tout juste sorti du préentraînement prédit le token suivant d'un texte d'internet. Il ne répond pas de façon fiable aux questions et ne suit pas un format de façon fiable. Le fine-tuning supervisé corrige cela en montrant au modèle de nombreuses démonstrations : un prompt, et la réponse exacte qu'une personne attendrait. Le modèle est entraîné à reproduire ces réponses.

Sa place dans le pipeline d'entraînement

Dans la recette d'InstructGPT que suivent la plupart des modèles de chat, le SFT vient en premier. Des annotateurs ont rédigé des démonstrations du comportement souhaité, et le modèle a subi un fine-tuning sur celles-ci. Ce n'est qu'ensuite qu'est venu le RLHF : des personnes ont classé les sorties du modèle, un modèle de récompense a appris de ces classements, et l'apprentissage par renforcement a encore ajusté le modèle SFT. Les pipelines plus récents remplacent souvent le RLHF par DPO, mais le SFT reste le point de départ. Le résultat est un modèle instruct.

Pour les développeurs

Quand vous faites le fine-tuning d'un modèle ouvert sur vos propres données, vous faites presque toujours du SFT. Les données sont un fichier de paires entrée-sortie, souvent au format chat. La qualité compte plus que le volume : quelques milliers d'exemples propres et cohérents battent généralement un grand ensemble bruité. Des bibliothèques comme TRL fournissent un entraîneur SFT, et le SFT est souvent combiné à une méthode efficace en paramètres comme LoRA.

Limites

Le SFT apprend au modèle à imiter. Il ne peut pas facilement exprimer « cette réponse est meilleure que celle-là », ce qu'apportent les méthodes fondées sur les préférences. Il peut aussi amener un modèle à recopier avec assurance les erreurs ou les lacunes des exemples d'entraînement.

Termes liés

Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Modèle instruct
Un modèle instruct est un modèle de langage de base qui a été entraîné en plus sur des instructions associées à de bonnes réponses, et souvent sur des retours humains, afin qu'il suive les demandes au lieu de simplement prolonger le texte.
RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Direct preference optimization
La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
Fine-tuning efficace en paramètres
Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.
Modèle de base
Un modèle de base (base model) est un modèle de langage tout juste sorti du pré-entraînement, avant l'ajustement aux instructions ou l'entraînement par retour humain. Il prolonge le texte qu'on lui donne au lieu de suivre des instructions ou de tenir une conversation.

Sources