Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

LoRA

LoRA (low-rank adaptation, adaptation de rang faible) est une méthode de fine-tuning qui gèle les poids d'origine d'un modèle et entraîne de petites matrices de rang faible ajoutées à ses couches, si bien que beaucoup moins de paramètres changent et qu'il faut bien moins de mémoire GPU.

Aussi appelé : low-rank adaptation, QLoRA

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Le fine-tuning complet met à jour tous les poids d'un modèle, ce qui demande de la mémoire pour les poids, leurs gradients et l'état de l'optimiseur. LoRA, présentée par Hu et al. en 2021, laisse les poids de base intacts. Pour certaines matrices de poids choisies, elle apprend deux matrices étroites dont le produit est une mise à jour de rang faible, et ajoute cette mise à jour au poids gelé. Seules les matrices étroites sont entraînées.

Pourquoi les développeurs l'utilisent

La partie entraînée, appelée adaptateur, est petite. Vous pouvez garder un seul modèle de base et de nombreux adaptateurs, un par client ou par tâche, et les échanger au chargement. L'article indique que, par rapport au fine-tuning complet de GPT-3 175B avec Adam, LoRA a divisé par 10 000 le nombre de paramètres entraînables et par 3 la mémoire GPU. Comme la mise à jour peut être fusionnée dans les poids, un modèle LoRA fusionné tourne à la même vitesse que l'original.

QLoRA

QLoRA (Dettmers et al., 2023) combine LoRA et la quantification. Le modèle de base est stocké gelé en 4 bits et les gradients le traversent jusqu'aux adaptateurs LoRA, conservés en précision plus élevée. Les auteurs indiquent avoir ainsi effectué le fine-tuning d'un modèle de 65B paramètres sur un seul GPU de 48GB. C'est la méthode habituelle pour ajuster de grands modèles open-weight sur une seule carte.

Limites

LoRA restreint l'ampleur des changements du modèle, si bien que de très grands changements de comportement ou une nouvelle langue peuvent encore nécessiter un fine-tuning complet. Le rang et le choix des couches qui reçoivent des adaptateurs sont des réglages à ajuster. LoRA est l'une des méthodes de fine-tuning efficace en paramètres ; des outils comme Unsloth et Axolotl la prennent en charge.

Termes liés

Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Fine-tuning efficace en paramètres
Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.

Sources