Déchargement sur le CPU
Le déchargement sur le CPU (CPU offloading) permet de faire tourner un modèle qui ne tient pas dans la mémoire du GPU en gardant une partie de ses couches dans la RAM système, ou sur disque, et en utilisant le GPU pour le reste. Le modèle tourne, mais plus lentement.
Aussi appelé : offload layers, GPU offloading, partial offload
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les poids d'un modèle résident normalement en VRAM. Quand un modèle est plus gros que votre GPU, le déchargement place sur le GPU autant de couches qu'il peut en contenir et le reste dans la RAM ordinaire. C'est ainsi que l'on fait tourner de grands LLM locaux sur un PC de jeu.
Deux façons de faire
Dans Hugging Face Accelerate et Transformers, le réglage `device_map="auto"` remplit d'abord le GPU, puis le CPU, et enfin le disque. Les couches gardées en RAM sont transférées sur le GPU au besoin, ce qui fonctionne tant que la plus grande couche tient sur le GPU.
Dans llama.cpp et les outils qui en dérivent, comme Ollama et LM Studio, vous choisissez combien de couches vont sur le GPU (le réglage « GPU layers »). Le reste est calculé par le CPU directement depuis la RAM. Ce mode hybride est le plus courant pour les modèles GGUF.
Le coût
La RAM système est bien plus lente que la VRAM, et le transfert de données sur le bus PCIe l'est encore plus. Chaque couche déchargée réduit le nombre de tokens par seconde, parfois fortement ; le déchargement sur disque est le plus lent de tous. Le déchargement convient mieux pour essayer un modèle, ou pour des tâches par lots où la vitesse importe peu, que pour un usage interactif.
Alternatives
Avant de décharger, essayez une quantification plus forte, qui réduit chaque couche. Les modèles mixture-of-experts se prêtent bien au déchargement partiel, puisque seuls quelques experts tournent pour chaque token. Les machines à mémoire unifiée évitent le problème, car le CPU et le GPU partagent un même réservoir. Le calculateur de GPU estime la part d'un modèle qui tient sur votre carte.
Termes liés
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Mémoire unifiée
- La mémoire unifiée (unified memory) est une conception dans laquelle le CPU et le GPU partagent un seul espace mémoire au lieu d'avoir chacun le leur. Sur les Mac Apple Silicon et les puces similaires, elle permet à un modèle d'IA local d'utiliser l'essentiel de la RAM du système comme mémoire GPU.
- LLM local
- Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- GGUF
- GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.