Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Modèle à espace d'états

Un modèle à espace d'états (state space model, SSM) est un modèle de séquence qui transporte un état caché de taille fixe à mesure qu'il lit chaque token, si bien que son coût croît linéairement avec la longueur de l'entrée. Mamba en est l'exemple le plus connu.

Aussi appelé : SSM, Mamba, selective state space model

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Un transformer compare chaque token à tous les autres, si bien que le coût augmente fortement avec les longues entrées, et son KV cache grossit à chaque token. Un modèle à espace d'états fonctionne plutôt comme un résumé en continu. Il garde un état caché de taille fixe et le met à jour une fois par token, si bien que la mémoire reste constante et que le calcul croît en ligne droite avec la longueur.

D'où il vient

L'idée vient de la théorie du contrôle, où un modèle à espace d'états décrit comment l'état d'un système évolue en réponse à des entrées. L'article S4 de 2021 l'a rendue praticable pour le deep learning sur de très longues séquences. Les premiers SSM réussissaient bien sur les benchmarks à longue portée mais restaient derrière les transformers sur le langage.

Mamba

Mamba, publié en 2023, a comblé une grande partie de cet écart. Son changement clé consiste à faire dépendre de l'entrée les paramètres du SSM, pour que le modèle puisse choisir à chaque token ce qu'il garde et ce qu'il oublie. Les auteurs parlent de SSM sélectif, et font état d'un passage à l'échelle linéaire en longueur de séquence et d'un débit d'inférence supérieur à celui des transformers.

Comment on l'utilise aujourd'hui

Les SSM purs sont moins courants que les hybrides. Beaucoup de modèles récents combinent quelques couches d'attention avec de nombreuses couches SSM ou couches linéaires similaires, pour obtenir l'essentiel de la qualité de l'attention avec une consommation de mémoire plus faible sur les longues fenêtres de contexte.

Limites

Un état de taille fixe doit compresser le passé, si bien que le rappel exact d'un détail situé loin en arrière dans une longue entrée peut être moins bon qu'avec l'attention. L'outillage est aussi moins mûr : certains moteurs de service et formats de quantification ont pris en charge les couches SSM plus tard que les couches transformer, alors vérifiez la prise en charge avant de prévoir un déploiement.

Termes liés

Transformer (architecture)
Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
Mécanisme d'attention
Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Fenêtre de contexte
Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
Mixture of experts
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.

Sources