Paramètres du modèle
Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
Aussi appelé : parameter count, 7B, total vs active parameters
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Quand un modèle s'appelle Llama 7B ou Qwen 72B, le nombre correspond à son nombre de paramètres en milliards. La version originale de LLaMA par Meta, par exemple, allait de 7B à 65B paramètres.
Ce que dit la taille
Plus de paramètres signifie généralement plus de capacité de connaissances et de compétences, mais les données et la méthode d'entraînement comptent tout autant. L'article sur LLaMA indique que son modèle de 13B a battu GPT-3 et ses 175B sur la plupart des benchmarks. La taille est un repère approximatif, pas un classement.
Mémoire
Le nombre de paramètres détermine la mémoire dont un modèle a besoin. Chaque paramètre est stocké à une précision donnée, comme 16 bits, 8 bits ou 4 bits ; la mémoire vaut donc à peu près le nombre de paramètres multiplié par les octets par paramètre, plus de la place pour le KV cache. La quantification en 4 bits réduit la mémoire des poids à environ un quart de la taille en 16 bits. Le calculateur de GPU fait ce calcul pour vous.
Paramètres totaux et paramètres actifs
Dans un modèle mixture of experts, seule une partie des paramètres s'exécute pour chaque token. Un nom comme 35B-A3B signifie 35 milliards de paramètres au total et environ 3 milliards actifs. Les paramètres actifs déterminent la vitesse, mais tous doivent quand même tenir dans la VRAM.
Termes liés
- Mixture of experts
- Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- Poids du modèle
- Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
- Précision numérique (FP16, BF16, FP8)
- La précision numérique est le format de nombre utilisé pour stocker les poids d'un modèle et effectuer ses calculs, comme FP32, FP16, BF16, FP8 ou INT4. Moins de bits par nombre signifie moins de mémoire et une inférence plus rapide, avec un certain risque pour la précision des résultats.
- Petit modèle de langage
- Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.