Modelo autorregressivo
Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
Também chamado: next-token prediction, ARM, causal language model
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Autorregressivo significa que a saída do modelo passa a fazer parte da sua próxima entrada. Para escrever uma frase, o modelo prevê um token, o acrescenta e prevê de novo, até produzir um token de parada ou atingir um limite. O GPT-3, por exemplo, é descrito por seus autores como um modelo de linguagem autorregressivo.
Previsão do próximo token
A previsão do próximo token (next-token prediction) é o objetivo de treinamento por trás disso. Durante o pré-treinamento, o modelo vê enormes quantidades de texto e aprende a dar uma probabilidade a cada próximo token possível. Na hora da geração, uma configuração de amostragem como a temperatura escolhe um token dessa distribuição. Um transformer usa uma máscara para que cada posição só possa prestar atenção às posições anteriores, o que mantém o treinamento coerente com a forma como ele gera.
O que isso significa na prática
Como os tokens saem um depois do outro, o tempo de resposta depende do tamanho da saída. Esse é um dos motivos de os tokens de saída muitas vezes custarem mais do que os de entrada, e de o streaming ser útil: você pode mostrar o texto à medida que ele chega. Acelerações como o speculative decoding e o KV cache trabalham todas em torno desse loop de um por vez.
O modelo também não consegue voltar atrás. Uma vez escolhido, o token fica, então um erro no início pode se propagar pela resposta. Os modelos de raciocínio contornam isso em parte escrevendo os passos antes da resposta final.
A alternativa
Os modelos de linguagem de difusão partem de uma sequência totalmente mascarada ou ruidosa e preenchem muitas posições em paralelo ao longo de vários passos. O artigo do LLaDA contesta a visão comum de que as habilidades centrais dos LLMs dependem de serem autorregressivos.
Termos relacionados
- Modelo de linguagem de difusão
- Um modelo de linguagem de difusão (dLLM) gera texto partindo de uma sequência totalmente mascarada ou ruidosa e refinando muitas posições de token em paralelo ao longo de vários passos, em vez de escrever um token por vez.
- Transformer (arquitetura)
- O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
- Token (LLM)
- Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
- Speculative decoding
- O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.
- Tokens de saída
- Tokens de saída (output tokens) são os tokens que um modelo de linguagem gera na resposta. Eles são contados e cobrados separadamente dos tokens de entrada, e uma configuração max_tokens limita quantos uma resposta pode conter.