Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Petit modèle de langage

Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.

Aussi appelé : SLM

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les petits modèles de langage sacrifient une partie de l'étendue des connaissances au profit de la vitesse, d'un faible coût et de la possibilité de tourner sur du matériel local. Ils conviennent à des tâches comme la classification, l'extraction, le routage, l'autocomplétion et les assistants embarqués, là où un grand modèle de langage serait lent ou coûteux.

Comment ils deviennent bons

Les petits modèles reposent sur des données d'entraînement soigneusement choisies. Le rapport Phi-3 de Microsoft décrit phi-3-mini, un modèle de 3,8 milliards de paramètres entraîné sur 3,3 billions de tokens, que les auteurs disent assez petit pour tourner sur un téléphone. D'autres sont obtenus par distillation de connaissances, où un petit modèle élève apprend d'un modèle enseignant plus grand.

En faire tourner un

Avec la quantification, un petit modèle tient dans quelques gigaoctets de mémoire, si bien que des outils comme Ollama ou llama.cpp peuvent le faire tourner sur un ordinateur portable. Le calculateur de GPU indique la mémoire nécessaire pour une taille donnée.

Limites

Il n'existe pas de frontière de taille reconnue entre petits et grands modèles. Les petits modèles contiennent moins de connaissances générales, gèrent moins bien les longs raisonnements à plusieurs étapes et sont plus sensibles à la formulation du prompt. Un schéma courant consiste à envoyer les requêtes simples à un petit modèle et les difficiles à un modèle plus grand.

Termes liés

Grand modèle de langage
Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
Distillation des connaissances
La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.
LLM local
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Paramètres du modèle
Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.

Sources