Mécanisme d'attention
Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.
Aussi appelé : self-attention, attention
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
L'attention est la façon dont un modèle de langage détermine quels mots précédents comptent pour le mot qu'il examine. Dans la phrase « le trophée ne rentrait pas dans la valise parce qu'elle était trop petite », c'est l'attention qui permet au modèle de relier « elle » à « valise ».
Comment ça marche
Chaque token est transformé en trois vecteurs : une requête (query), une clé (key) et une valeur (value). Le modèle compare la requête d'un token à la clé de chaque token pour obtenir un score, transforme les scores en poids dont la somme vaut un, puis prend un mélange pondéré des valeurs. Ce mélange devient la nouvelle représentation du token. L'auto-attention signifie que requêtes, clés et valeurs proviennent toutes de la même séquence. Les modèles en font tourner plusieurs en parallèle, appelées têtes, pour que différentes têtes suivent différentes relations.
L'attention était utilisée avec des réseaux récurrents avant 2017. L'article qui a introduit le transformer a montré qu'un réseau construit uniquement à partir d'attention, sans récurrence, s'entraînait plus vite et traduisait mieux.
Pourquoi c'est important quand vous construisez
L'attention compare chaque token à tous les autres, si bien que son coût augmente rapidement avec la longueur de l'entrée. C'est l'une des raisons pour lesquelles les longues fenêtres de contexte coûtent cher. Pendant la génération, les modèles stockent les clés et valeurs passées dans un KV cache pour ne pas les recalculer à chaque nouveau token, et c'est souvent ce cache qui remplit la mémoire du GPU. Des techniques comme la paged attention gèrent cette mémoire, et des alternatives comme les modèles à espace d'états tentent d'éviter ce coût entièrement.
Limites
Les poids d'attention sont parfois présentés comme une explication de ce que le modèle a « regardé ». Ce sont des indices utiles, pas une explication complète de la raison pour laquelle le modèle a produit une réponse.
Termes liés
- Transformer (architecture)
- Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
- KV cache
- Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
- Fenêtre de contexte
- Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
- PagedAttention
- PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
- Modèle à espace d'états
- Un modèle à espace d'états (state space model, SSM) est un modèle de séquence qui transporte un état caché de taille fixe à mesure qu'il lit chaque token, si bien que son coût croît linéairement avec la longueur de l'entrée. Mamba en est l'exemple le plus connu.