Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Aussi appelé : quantized, 4-bit, Q4_K_M
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
La quantification est la principale raison pour laquelle les grands modèles tiennent sur des GPU grand public et des ordinateurs portables. Stocker les poids sur 4 bits au lieu de 16 réduit leur mémoire à environ un quart.
Comment ça marche
Chaque poids passe d'un nombre sur 16 bits à un ensemble plus restreint de valeurs, avec un facteur d'échelle stocké par bloc de poids pour pouvoir les reconstruire approximativement pendant l'inférence. Les méthodes post-entraînement le font après l'entraînement, sans réentraînement. GPTQ, publié en 2022, quantifie les modèles de type GPT à 3 ou 4 bits par poids avec une perte de précision que ses auteurs qualifient de négligeable.
Lire les étiquettes
Dans l'écosystème GGUF autour de llama.cpp, des noms comme Q8_0, Q5_K_M et Q4_K_M décrivent le schéma. Le nombre correspond à peu près aux bits par poids. K désigne la famille k-quant, et S, M ou L un mélange petit, moyen ou grand qui garde certaines couches sensibles en précision plus élevée. Q4_K_M est un compromis populaire entre taille et qualité.
Compromis
Moins de bits signifie plus de perte de qualité. Le 8 bits reste généralement proche de l'original, le 4 bits est un bon compromis courant, et en dessous la qualité chute plus vite, surtout pour les petits modèles. La quantification réduit les poids mais pas le KV cache, sauf si celui-ci est aussi quantifié. Dimensionnez votre configuration avec le calculateur de GPU.
Termes liés
- GGUF
- GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Précision numérique (FP16, BF16, FP8)
- La précision numérique est le format de nombre utilisé pour stocker les poids d'un modèle et effectuer ses calculs, comme FP32, FP16, BF16, FP8 ou INT4. Moins de bits par nombre signifie moins de mémoire et une inférence plus rapide, avec un certain risque pour la précision des résultats.
- Paramètres du modèle
- Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
- LLM local
- Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.