Transformer (arquitetura)
O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
Também chamado: transformer model
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Antes dos transformers, os modelos de linguagem usavam principalmente redes recorrentes que liam o texto uma palavra por vez. O artigo de 2017 "Attention Is All You Need" propôs uma arquitetura baseada apenas em atenção, abandonando recorrência e convoluções. Ela era mais paralelizável e muito mais rápida de treinar, o que tornou viáveis os grandes modelos de hoje.
Como funciona
O texto é dividido em tokens e cada token vira um vetor. Um transformer empilha muitas camadas idênticas. Em cada uma, o mecanismo de atenção permite que cada token pondere todos os outros tokens da janela de contexto para decidir o que é relevante, e então uma rede feed-forward processa o resultado. Como todos os tokens são tratados de uma vez no treinamento, o trabalho se distribui bem entre GPUs.
Variantes
O design original tinha um encoder e um decoder para tradução. A maioria dos modelos de chat, como as famílias GPT e Llama, é só decoder e gera um token por vez; são modelos autorregressivos. Modelos só encoder, como o BERT, são comuns para embeddings.
Limites e o nome
O custo da atenção padrão cresce com o quadrado do tamanho da sequência, por isso contexto longo é caro. Alternativas como os state space models buscam resolver isso. Esta página trata da arquitetura, não da biblioteca Transformers do Hugging Face, que é um software para rodar esses modelos.
Termos relacionados
- Mecanismo de atenção
- Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- Modelo autorregressivo
- Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
- State space model
- Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.
- Token (LLM)
- Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.