Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Transformer (arquitetura)

O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.

Também chamado: transformer model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Antes dos transformers, os modelos de linguagem usavam principalmente redes recorrentes que liam o texto uma palavra por vez. O artigo de 2017 "Attention Is All You Need" propôs uma arquitetura baseada apenas em atenção, abandonando recorrência e convoluções. Ela era mais paralelizável e muito mais rápida de treinar, o que tornou viáveis os grandes modelos de hoje.

Como funciona

O texto é dividido em tokens e cada token vira um vetor. Um transformer empilha muitas camadas idênticas. Em cada uma, o mecanismo de atenção permite que cada token pondere todos os outros tokens da janela de contexto para decidir o que é relevante, e então uma rede feed-forward processa o resultado. Como todos os tokens são tratados de uma vez no treinamento, o trabalho se distribui bem entre GPUs.

Variantes

O design original tinha um encoder e um decoder para tradução. A maioria dos modelos de chat, como as famílias GPT e Llama, é só decoder e gera um token por vez; são modelos autorregressivos. Modelos só encoder, como o BERT, são comuns para embeddings.

Limites e o nome

O custo da atenção padrão cresce com o quadrado do tamanho da sequência, por isso contexto longo é caro. Alternativas como os state space models buscam resolver isso. Esta página trata da arquitetura, não da biblioteca Transformers do Hugging Face, que é um software para rodar esses modelos.

Termos relacionados

Mecanismo de atenção
Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
Grande modelo de linguagem
Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
Modelo autorregressivo
Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
State space model
Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.
Token (LLM)
Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.

Fontes