Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Modelo autorregresivo

Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.

También llamado: next-token prediction, ARM, causal language model

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Autorregresivo significa que la salida del modelo pasa a formar parte de su siguiente entrada. Para escribir una frase, el modelo predice un token, lo añade y vuelve a predecir, hasta que produce un token de parada o llega a un límite. GPT-3, por ejemplo, es descrito por sus autores como un modelo de lenguaje autorregresivo.

Predicción del siguiente token

La predicción del siguiente token es el objetivo de entrenamiento que hay detrás. Durante el preentrenamiento, el modelo ve enormes cantidades de texto y aprende a asignar una probabilidad a cada posible token siguiente. En el momento de generar, un ajuste de muestreo como la temperatura elige un token de esa distribución. Un transformer usa una máscara para que cada posición solo pueda atender a posiciones anteriores, lo que mantiene el entrenamiento coherente con la forma en que genera.

Qué significa en la práctica

Como los tokens salen uno tras otro, el tiempo de respuesta depende de la longitud de la salida. Es una de las razones por las que los tokens de salida suelen costar más que los de entrada, y por la que el streaming es útil: puedes mostrar el texto según llega. Las aceleraciones como el speculative decoding y la caché KV sortean todas este bucle de uno en uno.

El modelo tampoco puede volver atrás. Una vez elegido un token, se queda, así que un error temprano puede arrastrarse por toda la respuesta. Los modelos de razonamiento sortean en parte esto escribiendo pasos antes de la respuesta final.

La alternativa

Los modelos de lenguaje de difusión parten de una secuencia totalmente enmascarada o con ruido y rellenan muchas posiciones en paralelo a lo largo de varios pasos. El artículo de LLaDA cuestiona la idea extendida de que las capacidades básicas de un LLM dependen de ser autorregresivo.

Términos relacionados

Modelo de lenguaje de difusión
Un modelo de lenguaje de difusión (dLLM) genera texto partiendo de una secuencia totalmente enmascarada o con ruido y refinando muchas posiciones de tokens en paralelo a lo largo de varios pasos, en lugar de escribir un token cada vez.
Transformer (arquitectura)
El transformer es una arquitectura de red neuronal, presentada en 2017, que procesa secuencias usando atención en lugar de recurrencia. Es la base de casi todos los modelos de lenguaje grandes actuales y de muchos modelos de imagen y audio.
Token (LLM)
Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
Decodificación especulativa
La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.
Tokens de salida
Los tokens de salida (output tokens) son los tokens que genera un modelo de lenguaje en su respuesta. Se cuentan y se facturan aparte de los tokens de entrada, y un ajuste max_tokens limita cuántos puede contener una respuesta.

Fuentes