Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Modelo autorregressivo

Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.

Também chamado: next-token prediction, ARM, causal language model

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Autorregressivo significa que a saída do modelo passa a fazer parte da sua próxima entrada. Para escrever uma frase, o modelo prevê um token, o acrescenta e prevê de novo, até produzir um token de parada ou atingir um limite. O GPT-3, por exemplo, é descrito por seus autores como um modelo de linguagem autorregressivo.

Previsão do próximo token

A previsão do próximo token (next-token prediction) é o objetivo de treinamento por trás disso. Durante o pré-treinamento, o modelo vê enormes quantidades de texto e aprende a dar uma probabilidade a cada próximo token possível. Na hora da geração, uma configuração de amostragem como a temperatura escolhe um token dessa distribuição. Um transformer usa uma máscara para que cada posição só possa prestar atenção às posições anteriores, o que mantém o treinamento coerente com a forma como ele gera.

O que isso significa na prática

Como os tokens saem um depois do outro, o tempo de resposta depende do tamanho da saída. Esse é um dos motivos de os tokens de saída muitas vezes custarem mais do que os de entrada, e de o streaming ser útil: você pode mostrar o texto à medida que ele chega. Acelerações como o speculative decoding e o KV cache trabalham todas em torno desse loop de um por vez.

O modelo também não consegue voltar atrás. Uma vez escolhido, o token fica, então um erro no início pode se propagar pela resposta. Os modelos de raciocínio contornam isso em parte escrevendo os passos antes da resposta final.

A alternativa

Os modelos de linguagem de difusão partem de uma sequência totalmente mascarada ou ruidosa e preenchem muitas posições em paralelo ao longo de vários passos. O artigo do LLaDA contesta a visão comum de que as habilidades centrais dos LLMs dependem de serem autorregressivos.

Termos relacionados

Modelo de linguagem de difusão
Um modelo de linguagem de difusão (dLLM) gera texto partindo de uma sequência totalmente mascarada ou ruidosa e refinando muitas posições de token em paralelo ao longo de vários passos, em vez de escrever um token por vez.
Transformer (arquitetura)
O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
Token (LLM)
Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
Speculative decoding
O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.
Tokens de saída
Tokens de saída (output tokens) são os tokens que um modelo de linguagem gera na resposta. Eles são contados e cobrados separadamente dos tokens de entrada, e uma configuração max_tokens limita quantos uma resposta pode conter.

Fontes