State space model
Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.
Também chamado: SSM, Mamba, selective state space model
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um transformer compara cada token com todos os outros, então o custo sobe muito com entradas longas, e seu KV cache cresce a cada token. Um state space model funciona mais como um resumo contínuo. Ele mantém um estado oculto de tamanho fixo e o atualiza uma vez por token, então a memória fica estável e o processamento cresce em linha reta com o tamanho.
De onde veio
A ideia vem da teoria de controle, em que um state space model descreve como o estado de um sistema muda em resposta a entradas. O artigo do S4, em 2021, tornou isso viável para deep learning em sequências muito longas. Os primeiros SSMs foram bem em benchmarks de longo alcance, mas ficaram atrás dos transformers em linguagem.
Mamba
O Mamba, publicado em 2023, fechou boa parte dessa distância. Sua mudança principal é fazer os parâmetros do SSM dependerem da entrada, para que o modelo possa escolher o que guardar e o que esquecer a cada token. Os autores chamam isso de SSM seletivo, e relatam escalonamento linear com o tamanho da sequência e throughput de inferência maior que o dos transformers.
Como é usado hoje
SSMs puros são menos comuns que híbridos. Muitos modelos recentes misturam algumas camadas de atenção com muitas camadas SSM ou lineares parecidas, buscando a maior parte da qualidade da atenção com menos uso de memória em janelas de contexto longas.
Limites
Um estado de tamanho fixo precisa comprimir o passado, então a lembrança exata de um detalhe distante em uma entrada longa pode ser mais fraca que com atenção. As ferramentas também são menos maduras: alguns serving engines e formatos de quantização passam a suportar camadas SSM depois das camadas de transformer, então verifique o suporte antes de planejar implantar um.
Termos relacionados
- Transformer (arquitetura)
- O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
- Mecanismo de atenção
- Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Mixture of experts
- Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.