Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Paramètres du modèle

Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.

Aussi appelé : parameter count, 7B, total vs active parameters

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Quand un modèle s'appelle Llama 7B ou Qwen 72B, le nombre correspond à son nombre de paramètres en milliards. La version originale de LLaMA par Meta, par exemple, allait de 7B à 65B paramètres.

Ce que dit la taille

Plus de paramètres signifie généralement plus de capacité de connaissances et de compétences, mais les données et la méthode d'entraînement comptent tout autant. L'article sur LLaMA indique que son modèle de 13B a battu GPT-3 et ses 175B sur la plupart des benchmarks. La taille est un repère approximatif, pas un classement.

Mémoire

Le nombre de paramètres détermine la mémoire dont un modèle a besoin. Chaque paramètre est stocké à une précision donnée, comme 16 bits, 8 bits ou 4 bits ; la mémoire vaut donc à peu près le nombre de paramètres multiplié par les octets par paramètre, plus de la place pour le KV cache. La quantification en 4 bits réduit la mémoire des poids à environ un quart de la taille en 16 bits. Le calculateur de GPU fait ce calcul pour vous.

Paramètres totaux et paramètres actifs

Dans un modèle mixture of experts, seule une partie des paramètres s'exécute pour chaque token. Un nom comme 35B-A3B signifie 35 milliards de paramètres au total et environ 3 milliards actifs. Les paramètres actifs déterminent la vitesse, mais tous doivent quand même tenir dans la VRAM.

Termes liés

Mixture of experts
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.
VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Poids du modèle
Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
Précision numérique (FP16, BF16, FP8)
La précision numérique est le format de nombre utilisé pour stocker les poids d'un modèle et effectuer ses calculs, comme FP32, FP16, BF16, FP8 ou INT4. Moins de bits par nombre signifie moins de mémoire et une inférence plus rapide, avec un certain risque pour la précision des résultats.
Petit modèle de langage
Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.

Sources