Transformer (architecture)
Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
Aussi appelé : transformer model
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Avant les transformers, les modèles de langage utilisaient surtout des réseaux récurrents qui lisaient le texte un mot à la fois. L'article de 2017 « Attention Is All You Need » a proposé une architecture fondée uniquement sur l'attention, sans récurrence ni convolutions. Elle était plus parallélisable et beaucoup plus rapide à entraîner, ce qui a rendu possibles les grands modèles d'aujourd'hui.
Comment ça marche
Le texte est découpé en tokens et chaque token devient un vecteur. Un transformer empile de nombreuses couches identiques. Dans chacune, le mécanisme d'attention permet à chaque token de pondérer tous les autres tokens de la fenêtre de contexte pour décider de ce qui est pertinent, puis un réseau feed-forward traite le résultat. Comme tous les tokens sont traités en même temps pendant l'entraînement, le travail se répartit bien sur les GPU.
Variantes
La conception d'origine comportait un encodeur et un décodeur pour la traduction. La plupart des modèles de chat, comme les familles GPT et Llama, sont uniquement des décodeurs et génèrent un token à la fois ; ce sont des modèles autorégressifs. Les modèles uniquement encodeurs comme BERT sont courants pour les embeddings.
Limites et nom
Le coût de l'attention standard croît avec le carré de la longueur de la séquence, ce qui explique pourquoi les longs contextes coûtent cher. Des alternatives comme les modèles à espace d'états visent à résoudre ce problème. Cette page traite de l'architecture, pas de la bibliothèque Transformers de Hugging Face, qui est un logiciel pour faire tourner ces modèles.
Termes liés
- Mécanisme d'attention
- Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.
- Grand modèle de langage
- Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
- Modèle autorégressif
- Un modèle autorégressif génère une séquence morceau par morceau, en prédisant chaque token suivant à partir de tous les tokens précédents et en réinjectant cette sortie en entrée. La plupart des grands modèles de langage fonctionnent ainsi.
- Modèle à espace d'états
- Un modèle à espace d'états (state space model, SSM) est un modèle de séquence qui transporte un état caché de taille fixe à mesure qu'il lit chaque token, si bien que son coût croît linéairement avec la longueur de l'entrée. Mamba en est l'exemple le plus connu.
- Token (LLM)
- Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.