Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Distillation des connaissances

La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.

Aussi appelé : distilled model, distillation

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

La distillation explique comment de nombreux petits modèles de langage deviennent bons. Au lieu d'apprendre uniquement à partir de données brutes, l'élève apprend de ce que fait un modèle plus fort.

Comment ça marche

L'idée a été formulée par Hinton, Vinyals et Dean en 2015. Ils ont montré que les connaissances d'un grand modèle, ou d'un ensemble de modèles, peuvent être compressées dans un seul modèle plus petit et plus facile à déployer. Dans sa forme classique, l'élève est entraîné à reproduire toute la distribution de probabilités de l'enseignant sur les réponses, ses cibles souples (soft targets), et pas seulement l'unique bonne étiquette. Ces probabilités portent un signal supplémentaire sur les mauvaises réponses qui sont presque justes.

Avec les modèles de langage, une forme moderne courante est plus simple : l'enseignant génère des réponses ou des traces de raisonnement, et l'élève est ajusté par fine-tuning sur celles-ci, utilisées comme données synthétiques.

Exemple

Les noms de modèles qui contiennent « Distill » signifient généralement qu'un petit modèle ouvert a été ajusté sur les sorties d'un plus grand. DeepSeek, par exemple, indique avoir distillé les schémas de raisonnement de son grand modèle R1 dans des modèles plus petits.

Limites

Un élève égale rarement son enseignant sur les tâches difficiles ou inhabituelles. Distiller à partir des sorties d'un modèle commercial peut aussi enfreindre les conditions d'utilisation du fournisseur : vérifiez-les d'abord.

Termes liés

Petit modèle de langage
Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Données synthétiques
Les données synthétiques (synthetic data) sont des données d'entraînement ou de test générées par un logiciel, souvent par un autre modèle d'IA, plutôt que collectées à partir de sources réelles. Elles servent à combler des lacunes, à ajouter des exemples à moindre coût ou à éviter d'exposer de vraies données personnelles.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
Modèle de raisonnement
Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.

Sources