Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

GGUF

GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.

Aussi appelé : GGUF file

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Si vous téléchargez un modèle pour le faire tourner en local, vous verrez souvent des fichiers se terminant par .gguf. Le format vient du projet GGML, la bibliothèque de tenseurs derrière llama.cpp, et c'est le format utilisé par Ollama et LM Studio.

Ce qu'il contient

Un fichier GGUF contient les tenseurs du modèle ainsi que des métadonnées clé-valeur : l'architecture, le tokenizer, la longueur de contexte et les détails de quantification. La spécification fixe comme objectif un déploiement en un seul fichier, si bien que le modèle se charge sans fichier de configuration supplémentaire. Les modèles sont généralement entraînés dans PyTorch puis convertis en GGUF.

GGUF et quantification

GGUF peut stocker des poids en pleine précision, mais la plupart des téléchargements GGUF sont quantifiés. Un même modèle est souvent publié en plusieurs fichiers, comme Q8_0, Q5_K_M et Q4_K_M, chacun arbitrant entre taille et qualité. Choisissez le plus gros qui tient dans votre mémoire en laissant de la place pour le contexte. Le calculateur de GPU vous y aide.

GGUF ou safetensors

Safetensors est le format habituel des poids en pleine précision sur Hugging Face, utilisé par les bibliothèques Python et les serveurs GPU comme vLLM. GGUF vise l'inférence locale, adaptée au CPU et à Apple Silicon. Les deux servent des environnements d'exécution différents, et des scripts de conversion permettent de passer de l'un à l'autre.

Termes liés

Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Safetensors
Safetensors est un format de fichier de Hugging Face pour stocker les poids des modèles. Contrairement aux fichiers pickle de Python, son chargement ne peut pas exécuter de code caché, et il permet un chargement rapide, par projection en mémoire, de tenseurs individuels.
LLM local
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
Poids du modèle
Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
Auto-hébergement (modèles d'IA)
Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.

Sources