Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Destilación de conocimiento

La destilación de conocimiento (knowledge distillation) es un método de entrenamiento en el que un modelo alumno más pequeño aprende a imitar las salidas de un modelo profesor más grande, dando lugar a un modelo destilado que conserva gran parte de la habilidad del profesor a menor coste.

También llamado: distilled model, distillation

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

La destilación es la forma en que muchos modelos de lenguaje pequeños llegan a ser buenos. En lugar de aprender solo de datos en bruto, el alumno aprende de lo que hace un modelo más potente.

Cómo funciona

La idea la expusieron Hinton, Vinyals y Dean en 2015. Demostraron que el conocimiento de un modelo grande, o de un conjunto de modelos, se puede comprimir en un único modelo más pequeño y más fácil de desplegar. En la forma clásica, el alumno se entrena para igualar la distribución de probabilidad completa del profesor sobre las respuestas, sus soft targets, y no solo la etiqueta correcta. Esas probabilidades aportan una señal extra sobre qué respuestas erróneas están casi bien.

Con los modelos de lenguaje, una forma moderna habitual es más sencilla: el profesor genera respuestas o trazas de razonamiento, y al alumno se le aplica fine-tuning con ellas como datos sintéticos.

Ejemplo

Los nombres de modelos que incluyen "Distill" suelen indicar que a un modelo abierto pequeño se le aplicó fine-tuning con las salidas de uno más grande. DeepSeek, por ejemplo, informa de que destiló los patrones de razonamiento de su gran modelo R1 en modelos más pequeños.

Límites

Un alumno rara vez iguala a su profesor en tareas difíciles o inusuales. Destilar a partir de las salidas de un modelo comercial también puede incumplir las condiciones de servicio de ese proveedor, así que revísalas antes.

Términos relacionados

Modelo de lenguaje pequeño
Un modelo de lenguaje pequeño (SLM, small language model) es un modelo de lenguaje con relativamente pocos parámetros, normalmente unos pocos miles de millones o menos, creado para funcionar en un portátil, un teléfono o una sola GPU a menor coste que un modelo grande.
Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Datos sintéticos
Los datos sintéticos (synthetic data) son datos de entrenamiento o de prueba generados por software, a menudo por otro modelo de IA, en lugar de recogidos de fuentes del mundo real. Se usan para cubrir huecos, añadir ejemplos a bajo coste o evitar exponer datos personales reales.
Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
Modelo de razonamiento
Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.

Fuentes