Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Modelo de lenguaje de difusión

Un modelo de lenguaje de difusión (dLLM) genera texto partiendo de una secuencia totalmente enmascarada o con ruido y refinando muchas posiciones de tokens en paralelo a lo largo de varios pasos, en lugar de escribir un token cada vez.

También llamado: dLLM, masked diffusion language model

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

La mayoría de los modelos de lenguaje grandes son autorregresivos: escriben de izquierda a derecha, un token por paso. Un modelo de lenguaje de difusión toma prestado el enfoque de los modelos de difusión de imágenes. Empieza con una secuencia en la que todas las posiciones están ocultas, las predice todas, se queda con las predicciones de las que está más seguro y repite hasta completar el texto.

Cómo funciona

La receta habitual es la difusión enmascarada. Durante el entrenamiento, partes aleatorias de un texto real se sustituyen por un token de máscara y el modelo, normalmente un transformer sin la máscara de izquierda a derecha, aprende a rellenarlas. Al generar, ejecuta ese proceso a la inversa. El artículo de LLaDA describe exactamente esto: un proceso de enmascaramiento hacia delante y un proceso de generación inverso. LLaDA se entrenó con los mismos pasos de preentrenamiento y fine-tuning supervisado que se usan para los LLM normales.

Por qué importa a quien construye

Como se rellenan muchos tokens a la vez, un modelo de difusión puede producir texto en menos pasos, lo que puede suponer un rendimiento mucho mayor. El experimental DiffusionGemma 26B A4B de Google, analizado en este sitio, es un ejemplo de ese equilibrio. El modelo también puede ver toda la secuencia mientras edita, lo que encaja para rellenar la parte central de un código o un texto.

Límites

La calidad por parámetro ha ido en general por detrás de los mejores modelos autorregresivos, y menos pasos suele significar menos calidad. Las herramientas de servicio, el KV caching y el streaming se crearon en torno a la generación token a token, así que el soporte para los dLLM es más reciente y más escaso. Pruébalo con tus propias tareas antes de sustituir un modelo por uno de estos.

Términos relacionados

Modelo de difusión
Un modelo de difusión (diffusion model) es un modelo generativo que aprende a convertir ruido aleatorio en datos, como una imagen, eliminando un poco de ruido cada vez a lo largo de muchos pasos.
Modelo autorregresivo
Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
Modelo de lenguaje grande
Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.

Fuentes