VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Aussi appelé : GPU memory
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Un GPU ne peut calculer rapidement que sur des données présentes dans sa propre mémoire. Si un modèle ne tient pas, soit il ne se charge pas, soit il déborde vers la mémoire système plus lente via le CPU offloading, ce qui réduit fortement la vitesse. « De combien de VRAM ai-je besoin ? » est donc généralement la première question quand on fait tourner un modèle soi-même.
Ce qui occupe la VRAM quand un modèle tourne
Les poids d'abord : le nombre de paramètres multiplié par les octets par paramètre. Une précision plus faible ou la quantification réduit ce volume, par exemple en passant de poids sur 16 bits à des poids sur 4 bits. Vient ensuite le KV cache, qui grossit avec la longueur du contexte et le nombre de requêtes simultanées. Un moteur de service a aussi besoin d'un peu d'espace de travail et de marge.
L'entraînement en demande plus
L'entraînement ajoute les gradients, l'état de l'optimiseur et les activations sauvegardées en plus des poids. Le guide de Hugging Face note qu'Adam à lui seul ajoute 8 octets par paramètre, et que la taille de lot ou la longueur de séquence peuvent épuiser la mémoire du GPU même quand le modèle lui-même tient. C'est pourquoi des méthodes comme LoRA et QLoRA existent.
L'estimer
Notre calculateur de GPU estime la VRAM nécessaire pour un modèle, une précision et une longueur de contexte donnés. Gardez de la marge plutôt que de prévoir de remplir la carte. Les Mac et certaines puces récentes utilisent la mémoire unifiée, où le CPU et le GPU partagent un seul espace, ce qui leur permet de charger des modèles plus grands que la plupart des cartes graphiques grand public, à une vitesse moindre. Si rien de local n'est assez grand, louez une carte auprès d'un cloud GPU pour l'IA.
Termes liés
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- Paramètres du modèle
- Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
- KV cache
- Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
- GPU
- Un GPU (graphics processing unit, processeur graphique) est un processeur doté de nombreux petits cœurs conçus pour exécuter beaucoup de calculs en parallèle. Sa rapidité en calcul matriciel en fait le matériel standard pour entraîner et faire tourner les modèles d'IA.
- Mémoire unifiée
- La mémoire unifiée (unified memory) est une conception dans laquelle le CPU et le GPU partagent un seul espace mémoire au lieu d'avoir chacun le leur. Sur les Mac Apple Silicon et les puces similaires, elle permet à un modèle d'IA local d'utiliser l'essentiel de la RAM du système comme mémoire GPU.
- LLM local
- Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.