Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Déchargement sur le CPU

Le déchargement sur le CPU (CPU offloading) permet de faire tourner un modèle qui ne tient pas dans la mémoire du GPU en gardant une partie de ses couches dans la RAM système, ou sur disque, et en utilisant le GPU pour le reste. Le modèle tourne, mais plus lentement.

Aussi appelé : offload layers, GPU offloading, partial offload

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les poids d'un modèle résident normalement en VRAM. Quand un modèle est plus gros que votre GPU, le déchargement place sur le GPU autant de couches qu'il peut en contenir et le reste dans la RAM ordinaire. C'est ainsi que l'on fait tourner de grands LLM locaux sur un PC de jeu.

Deux façons de faire

Dans Hugging Face Accelerate et Transformers, le réglage `device_map="auto"` remplit d'abord le GPU, puis le CPU, et enfin le disque. Les couches gardées en RAM sont transférées sur le GPU au besoin, ce qui fonctionne tant que la plus grande couche tient sur le GPU.

Dans llama.cpp et les outils qui en dérivent, comme Ollama et LM Studio, vous choisissez combien de couches vont sur le GPU (le réglage « GPU layers »). Le reste est calculé par le CPU directement depuis la RAM. Ce mode hybride est le plus courant pour les modèles GGUF.

Le coût

La RAM système est bien plus lente que la VRAM, et le transfert de données sur le bus PCIe l'est encore plus. Chaque couche déchargée réduit le nombre de tokens par seconde, parfois fortement ; le déchargement sur disque est le plus lent de tous. Le déchargement convient mieux pour essayer un modèle, ou pour des tâches par lots où la vitesse importe peu, que pour un usage interactif.

Alternatives

Avant de décharger, essayez une quantification plus forte, qui réduit chaque couche. Les modèles mixture-of-experts se prêtent bien au déchargement partiel, puisque seuls quelques experts tournent pour chaque token. Les machines à mémoire unifiée évitent le problème, car le CPU et le GPU partagent un même réservoir. Le calculateur de GPU estime la part d'un modèle qui tient sur votre carte.

Termes liés

VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Mémoire unifiée
La mémoire unifiée (unified memory) est une conception dans laquelle le CPU et le GPU partagent un seul espace mémoire au lieu d'avoir chacun le leur. Sur les Mac Apple Silicon et les puces similaires, elle permet à un modèle d'IA local d'utiliser l'essentiel de la RAM du système comme mémoire GPU.
LLM local
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
GGUF
GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.

Sources