Mecanismo de atenção
Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
Também chamado: self-attention, attention
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
A atenção é a forma como um modelo de linguagem descobre quais palavras anteriores importam para a palavra que ele está olhando agora. Na frase "o troféu não coube na mala porque ela era pequena demais", a atenção é a parte que permite ao modelo ligar "ela" a "mala".
Como funciona
Cada token é transformado em três vetores: uma query (consulta), uma key (chave) e um value (valor). O modelo compara a query de um token com a key de cada token para obter uma pontuação, transforma as pontuações em pesos que somam um e então faz uma mistura ponderada dos values. Essa mistura se torna a nova representação do token. Self-attention significa que as queries, keys e values vêm todos da mesma sequência. Os modelos rodam várias dessas operações em paralelo, chamadas heads (cabeças), para que heads diferentes possam acompanhar relações diferentes.
A atenção já era usada junto com redes recorrentes antes de 2017. O artigo que apresentou o transformer mostrou que uma rede construída só com atenção, sem recorrência, treinava mais rápido e traduzia melhor.
Por que isso importa na hora de construir
A atenção compara cada token com todos os outros, então seu custo cresce rápido à medida que a entrada fica mais longa. Esse é um dos motivos de janelas de contexto longas serem caras. Durante a geração, os modelos guardam as keys e os values anteriores em um KV cache para não recalculá-los a cada novo token, e esse cache muitas vezes é o que enche a memória da GPU. Técnicas como a paged attention gerenciam essa memória, e alternativas como os modelos de espaço de estados tentam evitar esse custo por completo.
Limites
Os pesos de atenção às vezes são mostrados como explicação do que um modelo "olhou". Eles são uma pista útil, não um relato completo de por que o modelo produziu uma resposta.
Termos relacionados
- Transformer (arquitetura)
- O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- PagedAttention
- PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
- State space model
- Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.