KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Aussi appelé : key-value cache
Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode
Dans un transformer, chaque nouveau token porte son attention sur tous les tokens précédents grâce au mécanisme d'attention, qui utilise un vecteur clé et un vecteur valeur par token et par couche. Sans cache, le modèle recalculerait ces vecteurs pour toute la séquence à chaque étape. Le KV cache les garde en mémoire, si bien que générer le token suivant n'ajoute qu'un nouvel ensemble.
Le coût en mémoire
Le cache grossit avec le nombre de tokens en contexte, le nombre de couches et le nombre de requêtes simultanées. Pour de longs prompts ou de nombreux utilisateurs, il peut occuper autant de VRAM que les poids eux-mêmes, c'est pourquoi un modèle peut tenir sur une carte mais échouer sur un long contexte. L'article sur PagedAttention décrit la mémoire du KV cache par requête comme énorme et de taille variable à mesure que les requêtes grossissent et se terminent ; la mémoire de cache gaspillée limite le nombre de requêtes qu'un serveur peut regrouper.
Comment les moteurs le gèrent
La paged attention, introduite avec vLLM, stocke le cache en blocs de taille fixe, comme des pages de mémoire virtuelle, pour éviter la fragmentation et partager des blocs entre requêtes ayant le même préfixe. Les moteurs peuvent aussi quantifier le cache en plus basse précision ou le décharger dans la mémoire du CPU.
KV cache et prompt caching
Le KV cache vit au sein d'une seule génération. Le prompt caching, proposé par les fournisseurs d'API, conserve l'état calculé pour un préfixe de prompt répété d'une requête à l'autre, ce qui fait gagner du temps et de l'argent. Le calculateur de GPU inclut la longueur du contexte dans son estimation de mémoire.
Termes liés
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- PagedAttention
- PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
- Prompt caching
- Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
- Fenêtre de contexte
- Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
- Mécanisme d'attention
- Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.