Modelo de espacio de estados
Un modelo de espacio de estados (SSM, state space model) es un modelo de secuencias que arrastra un estado oculto de tamaño fijo mientras lee cada token, de modo que su coste crece de forma lineal con la longitud de la entrada. Mamba es el ejemplo más conocido.
También llamado: SSM, Mamba, selective state space model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un transformer compara cada token con todos los demás, así que el coste sube mucho con entradas largas, y su KV cache crece con cada token. Un modelo de espacio de estados funciona más bien como un resumen continuo. Mantiene un estado oculto de tamaño fijo y lo actualiza una vez por token, así que la memoria se mantiene estable y el cómputo crece en línea recta con la longitud.
De dónde viene
La idea procede de la teoría de control, donde un modelo de espacio de estados describe cómo cambia el estado de un sistema en respuesta a las entradas. El artículo de S4 de 2021 lo hizo práctico para deep learning con secuencias muy largas. Los primeros SSM rendían bien en benchmarks de largo alcance, pero iban por detrás de los transformers en lenguaje.
Mamba
Mamba, publicado en 2023, cerró buena parte de esa distancia. Su cambio clave es hacer que los parámetros del SSM dependan de la entrada, de modo que el modelo puede elegir qué conservar y qué olvidar en cada token. Los autores lo llaman un SSM selectivo e indican un escalado lineal con la longitud de la secuencia y un throughput de inferencia mayor que el de los transformers.
Cómo se usa hoy
Los SSM puros son menos habituales que los híbridos. Muchos modelos recientes combinan unas pocas capas de atención con muchas capas SSM o lineales parecidas, buscando la mayor parte de la calidad de la atención con menos uso de memoria en ventanas de contexto largas.
Límites
Un estado de tamaño fijo tiene que comprimir el pasado, así que recordar con exactitud un detalle muy lejano en una entrada larga puede ser más difícil que con atención. Las herramientas también están menos maduras: algunos motores de serving y formatos de cuantización admiten capas SSM más tarde que las capas transformer, así que comprueba el soporte antes de planificar un despliegue.
Términos relacionados
- Transformer (arquitectura)
- El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
- Mecanismo de atención
- Un mecanismo de atención permite a una red neuronal decidir, para cada token que procesa, cuánto peso dar a cada uno de los demás tokens de la entrada. La autoatención (self-attention) es la operación central dentro de un transformer.
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- Ventana de contexto
- Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
- Mixture of experts
- La mixture of experts (MoE, mezcla de expertos) es un diseño de modelo en el que cada capa contiene varias subredes expertas y un router envía cada token solo a unas pocas, de modo que por cada token se ejecuta solo una parte del modelo.