Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Decodificación especulativa

La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.

También llamado: draft model

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

Un modelo de lenguaje grande genera normalmente un token por pasada hacia delante, y cada pasada lee todos sus pesos de la memoria. Eso hace que la decodificación sea lenta incluso cuando la GPU tiene cómputo de sobra. La decodificación especulativa, descrita por Leviathan et al. en 2022, aprovecha ese cómputo sobrante.

Cómo funciona

Un modelo borrador más barato adivina los siguientes tokens. El modelo objetivo grande puntúa entonces todas esas posiciones a la vez, en paralelo. Los tokens con los que coincide se conservan; en el primer desacuerdo se usa la elección del propio modelo objetivo y el resto del borrador se descarta. Una regla de muestreo especial garantiza que el texto final siga la misma distribución que el modelo objetivo, así que la calidad no cambia. El artículo indica una aceleración de 2X-3X en T5-XXL con salidas idénticas.

Cuándo ayuda

La ganancia depende de cuántas veces acierta el borrador. Funciona mejor con texto predecible como código, salida estructurada o respuestas que repiten partes del prompt. Algunas variantes prescinden del modelo borrador independiente: unas añaden cabezas de predicción adicionales al modelo principal y otras buscan continuaciones probables en el propio prompt. Motores de serving como vLLM y SGLang admiten varios métodos.

Costes

El modelo borrador necesita su propia memoria, y las conjeturas erróneas desperdician cómputo. Con mucha carga en lotes, cuando la GPU ya está ocupada, el beneficio se reduce. Mide los tokens por segundo con tu propio tráfico antes y después. Para el panorama general, consulta inferencia y serving de modelos.

Términos relacionados

Inferencia
La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
Modelo autorregresivo
Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
Destilación de conocimiento
La destilación de conocimiento (knowledge distillation) es un método de entrenamiento en el que un modelo alumno más pequeño aprende a imitar las salidas de un modelo profesor más grande, dando lugar a un modelo destilado que conserva gran parte de la habilidad del profesor a menor coste.

Fuentes