Modelo autorregresivo
Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
También llamado: next-token prediction, ARM, causal language model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Autorregresivo significa que la salida del modelo pasa a formar parte de su siguiente entrada. Para escribir una frase, el modelo predice un token, lo añade y vuelve a predecir, hasta que produce un token de parada o llega a un límite. GPT-3, por ejemplo, es descrito por sus autores como un modelo de lenguaje autorregresivo.
Predicción del siguiente token
La predicción del siguiente token es el objetivo de entrenamiento que hay detrás. Durante el preentrenamiento, el modelo ve enormes cantidades de texto y aprende a asignar una probabilidad a cada posible token siguiente. En el momento de generar, un ajuste de muestreo como la temperatura elige un token de esa distribución. Un transformer usa una máscara para que cada posición solo pueda atender a posiciones anteriores, lo que mantiene el entrenamiento coherente con la forma en que genera.
Qué significa en la práctica
Como los tokens salen uno tras otro, el tiempo de respuesta depende de la longitud de la salida. Es una de las razones por las que los tokens de salida suelen costar más que los de entrada, y por la que el streaming es útil: puedes mostrar el texto según llega. Las aceleraciones como el speculative decoding y la caché KV sortean todas este bucle de uno en uno.
El modelo tampoco puede volver atrás. Una vez elegido un token, se queda, así que un error temprano puede arrastrarse por toda la respuesta. Los modelos de razonamiento sortean en parte esto escribiendo pasos antes de la respuesta final.
La alternativa
Los modelos de lenguaje de difusión parten de una secuencia totalmente enmascarada o con ruido y rellenan muchas posiciones en paralelo a lo largo de varios pasos. El artículo de LLaDA cuestiona la idea extendida de que las capacidades básicas de un LLM dependen de ser autorregresivo.
Términos relacionados
- Modelo de lenguaje de difusión
- Un modelo de lenguaje de difusión (dLLM) genera texto partiendo de una secuencia totalmente enmascarada o con ruido y refinando muchas posiciones de tokens en paralelo a lo largo de varios pasos, en lugar de escribir un token cada vez.
- Transformer (arquitectura)
- El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
- Token (LLM)
- Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
- Decodificación especulativa
- La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.
- Tokens de salida
- Los tokens de salida (output tokens) son los tokens que genera un modelo de lenguaje en su respuesta. Se cuentan y se facturan aparte de los tokens de entrada, y un ajuste max_tokens limita cuántos puede contener una respuesta.