PagedAttention
PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
Aussi appelé : paged KV cache
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Pendant qu'il génère du texte, un modèle conserve un KV cache : les clés et valeurs d'attention stockées pour chaque token produit jusque-là. Il grossit à chaque nouveau token, et personne ne sait à l'avance quelle sera la longueur d'une réponse. Les anciens serveurs réservaient un bloc contigu de mémoire GPU par requête, dimensionné pour la longueur maximale. L'essentiel de cet espace restait inutilisé, et les trous entre les blocs ne pouvaient servir à personne d'autre.
Comment ça marche
L'article sur vLLM de 2023 a emprunté aux systèmes d'exploitation l'idée de la pagination de la mémoire virtuelle. Le KV cache est découpé en petits blocs. Chaque requête dispose d'une table de blocs qui associe ses positions logiques à des blocs physiques situés n'importe où en mémoire, et de nouveaux blocs ne sont attribués qu'en cas de besoin. Le noyau d'attention lit à travers cette table. Les auteurs font état d'un gaspillage quasi nul de la mémoire du KV cache et d'un débit deux à quatre fois supérieur à celui des systèmes antérieurs, à latence égale.
Comme les blocs sont adressés indirectement, les requêtes peuvent aussi les partager. Plusieurs échantillons issus du même prompt, ou de nombreuses conversations avec le même long prompt système, peuvent pointer vers une seule copie du préfixe commun. C'est la base du prefix caching dans les serveurs.
Pourquoi c'est important
De la mémoire libre permet un lot plus grand, et un lot plus grand permet plus d'utilisateurs par GPU. C'est PagedAttention qui permet au continuous batching d'ajouter et de retirer librement des requêtes. Il est apparu d'abord dans vLLM, et des conceptions paginées similaires sont désormais utilisées par la plupart des serveurs de modèles en production.
Limites
Il ne réduit pas le KV cache lui-même ; les longs contextes demandent toujours beaucoup de VRAM. Des techniques comme la quantification du KV cache traitent ce point séparément.
Termes liés
- KV cache
- Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
- Service de modèles
- Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
- Continuous batching
- Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Mécanisme d'attention
- Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.