Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Mecanismo de atenção

Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.

Também chamado: self-attention, attention

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

A atenção é a forma como um modelo de linguagem descobre quais palavras anteriores importam para a palavra que ele está olhando agora. Na frase "o troféu não coube na mala porque ela era pequena demais", a atenção é a parte que permite ao modelo ligar "ela" a "mala".

Como funciona

Cada token é transformado em três vetores: uma query (consulta), uma key (chave) e um value (valor). O modelo compara a query de um token com a key de cada token para obter uma pontuação, transforma as pontuações em pesos que somam um e então faz uma mistura ponderada dos values. Essa mistura se torna a nova representação do token. Self-attention significa que as queries, keys e values vêm todos da mesma sequência. Os modelos rodam várias dessas operações em paralelo, chamadas heads (cabeças), para que heads diferentes possam acompanhar relações diferentes.

A atenção já era usada junto com redes recorrentes antes de 2017. O artigo que apresentou o transformer mostrou que uma rede construída só com atenção, sem recorrência, treinava mais rápido e traduzia melhor.

Por que isso importa na hora de construir

A atenção compara cada token com todos os outros, então seu custo cresce rápido à medida que a entrada fica mais longa. Esse é um dos motivos de janelas de contexto longas serem caras. Durante a geração, os modelos guardam as keys e os values anteriores em um KV cache para não recalculá-los a cada novo token, e esse cache muitas vezes é o que enche a memória da GPU. Técnicas como a paged attention gerenciam essa memória, e alternativas como os modelos de espaço de estados tentam evitar esse custo por completo.

Limites

Os pesos de atenção às vezes são mostrados como explicação do que um modelo "olhou". Eles são uma pista útil, não um relato completo de por que o modelo produziu uma resposta.

Termos relacionados

Transformer (arquitetura)
O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Janela de contexto
Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
PagedAttention
PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
State space model
Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.

Fontes