LoRA
LoRA (low-rank adaptation, adaptation de rang faible) est une méthode de fine-tuning qui gèle les poids d'origine d'un modèle et entraîne de petites matrices de rang faible ajoutées à ses couches, si bien que beaucoup moins de paramètres changent et qu'il faut bien moins de mémoire GPU.
Aussi appelé : low-rank adaptation, QLoRA
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Le fine-tuning complet met à jour tous les poids d'un modèle, ce qui demande de la mémoire pour les poids, leurs gradients et l'état de l'optimiseur. LoRA, présentée par Hu et al. en 2021, laisse les poids de base intacts. Pour certaines matrices de poids choisies, elle apprend deux matrices étroites dont le produit est une mise à jour de rang faible, et ajoute cette mise à jour au poids gelé. Seules les matrices étroites sont entraînées.
Pourquoi les développeurs l'utilisent
La partie entraînée, appelée adaptateur, est petite. Vous pouvez garder un seul modèle de base et de nombreux adaptateurs, un par client ou par tâche, et les échanger au chargement. L'article indique que, par rapport au fine-tuning complet de GPT-3 175B avec Adam, LoRA a divisé par 10 000 le nombre de paramètres entraînables et par 3 la mémoire GPU. Comme la mise à jour peut être fusionnée dans les poids, un modèle LoRA fusionné tourne à la même vitesse que l'original.
QLoRA
QLoRA (Dettmers et al., 2023) combine LoRA et la quantification. Le modèle de base est stocké gelé en 4 bits et les gradients le traversent jusqu'aux adaptateurs LoRA, conservés en précision plus élevée. Les auteurs indiquent avoir ainsi effectué le fine-tuning d'un modèle de 65B paramètres sur un seul GPU de 48GB. C'est la méthode habituelle pour ajuster de grands modèles open-weight sur une seule carte.
Limites
LoRA restreint l'ampleur des changements du modèle, si bien que de très grands changements de comportement ou une nouvelle langue peuvent encore nécessiter un fine-tuning complet. Le rang et le choix des couches qui reçoivent des adaptateurs sont des réglages à ajuster. LoRA est l'une des méthodes de fine-tuning efficace en paramètres ; des outils comme Unsloth et Axolotl la prennent en charge.
Termes liés
- Fine-tuning
- Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
- Fine-tuning efficace en paramètres
- Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- Fine-tuning supervisé
- Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.