Decodificación especulativa
La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.
También llamado: draft model
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Un modelo de lenguaje grande genera normalmente un token por pasada hacia delante, y cada pasada lee todos sus pesos de la memoria. Eso hace que la decodificación sea lenta incluso cuando la GPU tiene cómputo de sobra. La decodificación especulativa, descrita por Leviathan et al. en 2022, aprovecha ese cómputo sobrante.
Cómo funciona
Un modelo borrador más barato adivina los siguientes tokens. El modelo objetivo grande puntúa entonces todas esas posiciones a la vez, en paralelo. Los tokens con los que coincide se conservan; en el primer desacuerdo se usa la elección del propio modelo objetivo y el resto del borrador se descarta. Una regla de muestreo especial garantiza que el texto final siga la misma distribución que el modelo objetivo, así que la calidad no cambia. El artículo indica una aceleración de 2X-3X en T5-XXL con salidas idénticas.
Cuándo ayuda
La ganancia depende de cuántas veces acierta el borrador. Funciona mejor con texto predecible como código, salida estructurada o respuestas que repiten partes del prompt. Algunas variantes prescinden del modelo borrador independiente: unas añaden cabezas de predicción adicionales al modelo principal y otras buscan continuaciones probables en el propio prompt. Motores de serving como vLLM y SGLang admiten varios métodos.
Costes
El modelo borrador necesita su propia memoria, y las conjeturas erróneas desperdician cómputo. Con mucha carga en lotes, cuando la GPU ya está ocupada, el beneficio se reduce. Mide los tokens por segundo con tu propio tráfico antes y después. Para el panorama general, consulta inferencia y serving de modelos.
Términos relacionados
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
- Tokens por segundo
- Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
- Modelo autorregresivo
- Un modelo autorregresivo genera una secuencia pieza a pieza, prediciendo cada token siguiente a partir de todos los tokens anteriores y volviendo a introducir esa salida. La mayoría de los modelos de lenguaje grandes funcionan así.
- Destilación de conocimiento
- La destilación de conocimiento (knowledge distillation) es un método de entrenamiento en el que un modelo alumno más pequeño aprende a imitar las salidas de un modelo profesor más grande, dando lugar a un modelo destilado que conserva gran parte de la habilidad del profesor a menor coste.