Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

KV cache

Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.

Aussi appelé : key-value cache

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Dans un transformer, chaque nouveau token porte son attention sur tous les tokens précédents grâce au mécanisme d'attention, qui utilise un vecteur clé et un vecteur valeur par token et par couche. Sans cache, le modèle recalculerait ces vecteurs pour toute la séquence à chaque étape. Le KV cache les garde en mémoire, si bien que générer le token suivant n'ajoute qu'un nouvel ensemble.

Le coût en mémoire

Le cache grossit avec le nombre de tokens en contexte, le nombre de couches et le nombre de requêtes simultanées. Pour de longs prompts ou de nombreux utilisateurs, il peut occuper autant de VRAM que les poids eux-mêmes, c'est pourquoi un modèle peut tenir sur une carte mais échouer sur un long contexte. L'article sur PagedAttention décrit la mémoire du KV cache par requête comme énorme et de taille variable à mesure que les requêtes grossissent et se terminent ; la mémoire de cache gaspillée limite le nombre de requêtes qu'un serveur peut regrouper.

Comment les moteurs le gèrent

La paged attention, introduite avec vLLM, stocke le cache en blocs de taille fixe, comme des pages de mémoire virtuelle, pour éviter la fragmentation et partager des blocs entre requêtes ayant le même préfixe. Les moteurs peuvent aussi quantifier le cache en plus basse précision ou le décharger dans la mémoire du CPU.

KV cache et prompt caching

Le KV cache vit au sein d'une seule génération. Le prompt caching, proposé par les fournisseurs d'API, conserve l'état calculé pour un préfixe de prompt répété d'une requête à l'autre, ce qui fait gagner du temps et de l'argent. Le calculateur de GPU inclut la longueur du contexte dans son estimation de mémoire.

Termes liés

VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
PagedAttention
PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
Prompt caching
Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
Fenêtre de contexte
Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
Mécanisme d'attention
Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.

Sources