GGUF
GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.
Aussi appelé : GGUF file
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Si vous téléchargez un modèle pour le faire tourner en local, vous verrez souvent des fichiers se terminant par .gguf. Le format vient du projet GGML, la bibliothèque de tenseurs derrière llama.cpp, et c'est le format utilisé par Ollama et LM Studio.
Ce qu'il contient
Un fichier GGUF contient les tenseurs du modèle ainsi que des métadonnées clé-valeur : l'architecture, le tokenizer, la longueur de contexte et les détails de quantification. La spécification fixe comme objectif un déploiement en un seul fichier, si bien que le modèle se charge sans fichier de configuration supplémentaire. Les modèles sont généralement entraînés dans PyTorch puis convertis en GGUF.
GGUF et quantification
GGUF peut stocker des poids en pleine précision, mais la plupart des téléchargements GGUF sont quantifiés. Un même modèle est souvent publié en plusieurs fichiers, comme Q8_0, Q5_K_M et Q4_K_M, chacun arbitrant entre taille et qualité. Choisissez le plus gros qui tient dans votre mémoire en laissant de la place pour le contexte. Le calculateur de GPU vous y aide.
GGUF ou safetensors
Safetensors est le format habituel des poids en pleine précision sur Hugging Face, utilisé par les bibliothèques Python et les serveurs GPU comme vLLM. GGUF vise l'inférence locale, adaptée au CPU et à Apple Silicon. Les deux servent des environnements d'exécution différents, et des scripts de conversion permettent de passer de l'un à l'autre.
Termes liés
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- Safetensors
- Safetensors est un format de fichier de Hugging Face pour stocker les poids des modèles. Contrairement aux fichiers pickle de Python, son chargement ne peut pas exécuter de code caché, et il permet un chargement rapide, par projection en mémoire, de tenseurs individuels.
- LLM local
- Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
- Poids du modèle
- Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
- Auto-hébergement (modèles d'IA)
- Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.