Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Fine-tuning efficace en paramètres

Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.

Aussi appelé : PEFT

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Le fine-tuning complet met à jour tous les poids d'un modèle. Pour un modèle de plusieurs milliards de paramètres, cela demande plusieurs gros GPU, et chaque copie ajustée est aussi volumineuse que l'original. Les méthodes PEFT évitent cela en gelant le modèle de base et en entraînant un petit module complémentaire.

Comment ça marche

La méthode la plus connue est LoRA, qui ajoute de petites matrices de rang faible à côté des matrices de poids existantes et n'entraîne que celles-ci. D'autres familles ajoutent à l'entrée de courts « soft prompts » entraînables (prompt tuning, prefix tuning), insèrent de petites couches adaptatrices entre les couches existantes, ou n'entraînent qu'un sous-ensemble des poids existants. QLoRA combine LoRA avec un modèle de base quantifié, si bien que l'entraînement tient sur un seul GPU grand public pour de nombreuses tailles de modèles.

Le résultat est généralement un fichier de quelques mégaoctets à quelques centaines de mégaoctets que vous chargez par-dessus le modèle de base. Un même modèle de base peut servir de nombreux adaptateurs, un par client ou par tâche.

Pourquoi c'est important

C'est grâce au PEFT que le fine-tuning de modèles ouverts est réalisable sur du matériel modeste. Des bibliothèques comme Hugging Face PEFT, Unsloth et LLaMA-Factory encapsulent ces méthodes. Sur une tâche ciblée, la qualité est souvent proche de celle d'un fine-tuning complet.

Limites

Le PEFT modifie bien le comportement et le style, mais c'est un moyen faible d'ajouter de grandes quantités de connaissances nouvelles ; la génération augmentée par récupération est généralement meilleure pour cela. Un adaptateur est lié au modèle de base exact sur lequel il a été entraîné et ne fonctionnera pas sur un autre.

Termes liés

LoRA
LoRA (low-rank adaptation, adaptation de rang faible) est une méthode de fine-tuning qui gèle les poids d'origine d'un modèle et entraîne de petites matrices de rang faible ajoutées à ses couches, si bien que beaucoup moins de paramètres changent et qu'il faut bien moins de mémoire GPU.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Poids du modèle
Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.

Sources