Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Aussi appelé : finetuning
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Un modèle pré-entraîné a appris la langue en général à partir d'un très grand corpus. Le fine-tuning reprend ces poids et poursuit leur entraînement sur des exemples que vous choisissez : des tickets de support traités comme votre équipe les traite, du code dans votre style maison ou des notes médicales dans un format fixe. La boucle d'entraînement est la même que pour le pré-entraînement ; la différence est que vous partez d'un modèle qui fonctionne plutôt que de poids aléatoires, ce qui demande bien moins de données et de calcul.
Types de fine-tuning
Le fine-tuning supervisé entraîne sur des paires d'entrée et de sortie souhaitée. L'ajustement sur les préférences, comme le RLHF ou la DPO, entraîne sur la réponse que les gens ont préférée parmi deux. Le fine-tuning complet met à jour tous les poids ; les méthodes économes en paramètres comme LoRA entraînent un petit module complémentaire et laissent le modèle de base figé, ce qui réduit la mémoire nécessaire et permet de conserver de nombreux adaptateurs pour un même modèle de base.
Quand l'utiliser
Le fine-tuning est efficace pour enseigner un comportement : un format de sortie cohérent, une tâche de classification étroite, une voix maison, ou faire accomplir à un petit modèle une tâche aussi bien qu'un plus grand. C'est un mauvais moyen d'ajouter des faits qui changent souvent, car les connaissances sont figées au moment de l'entraînement et difficiles à inspecter. Pour cela, la génération augmentée par récupération est généralement une meilleure première étape, et beaucoup d'équipes essaient un prompting soigné avant l'un ou l'autre.
Limites
Il vous faut des exemples propres et représentatifs, un jeu d'évaluation tenu à l'écart de l'entraînement et un plan pour réentraîner quand le modèle de base est mis à jour. Un modèle peut aussi perdre des compétences générales s'il est entraîné trop intensément sur un ensemble étroit. Le guide de l'étape de fine-tuning recense des outils comme Unsloth et Axolotl.
Termes liés
- LoRA
- LoRA (low-rank adaptation, adaptation de rang faible) est une méthode de fine-tuning qui gèle les poids d'origine d'un modèle et entraîne de petites matrices de rang faible ajoutées à ses couches, si bien que beaucoup moins de paramètres changent et qu'il faut bien moins de mémoire GPU.
- Fine-tuning supervisé
- Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
- RLHF
- Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
- Direct preference optimization
- La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
- Préentraînement
- Le préentraînement (pretraining) est la première et la plus importante étape de l'entraînement d'un modèle, au cours de laquelle il apprend des schémas généraux à partir d'un très grand jeu de données non étiquetées, généralement en prédisant le token suivant, avant tout ajustement propre à une tâche.
- Fine-tuning efficace en paramètres
- Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.