Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
También llamado: SFT, instruction tuning
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un modelo base recién salido del preentrenamiento predice el siguiente token de texto de internet. No responde preguntas ni sigue un formato de forma fiable. El fine-tuning supervisado lo corrige mostrando al modelo muchas demostraciones: un prompt y la respuesta exacta que querría una persona. El modelo se entrena para reproducir esas respuestas.
Cómo encaja en el proceso de entrenamiento
En la receta de InstructGPT que siguen la mayoría de los modelos de chat, el SFT va primero. Unos etiquetadores escribieron demostraciones del comportamiento deseado y el modelo se ajustó con ellas. Solo después llegó el RLHF: personas ordenaron salidas del modelo, un modelo de recompensa aprendió de esas clasificaciones y el aprendizaje por refuerzo siguió ajustando el modelo SFT. Los procesos más nuevos suelen cambiar el RLHF por DPO, pero el SFT sigue siendo el punto de partida. El resultado es un modelo instruct.
Para desarrolladores
Cuando haces fine-tuning de un modelo abierto con tus propios datos, casi siempre estás haciendo SFT. Los datos son un archivo de pares de entrada y salida, a menudo en formato de chat. La calidad importa más que el volumen: unos pocos miles de ejemplos limpios y coherentes suelen superar a un conjunto grande con ruido. Bibliotecas como TRL ofrecen un entrenador SFT, y el SFT a menudo se combina con un método eficiente en parámetros como LoRA.
Límites
El SFT enseña al modelo a imitar. No puede expresar con facilidad "esta respuesta es mejor que aquella", que es lo que aportan los métodos de preferencias. También puede hacer que un modelo copie con seguridad errores o carencias de los ejemplos de entrenamiento.
Términos relacionados
- Fine-tuning
- El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
- Modelo instruct
- Un modelo instruct (modelo ajustado a instrucciones) es un modelo de lenguaje base que se ha seguido entrenando con instrucciones emparejadas con buenas respuestas, y a menudo con feedback humano, para que siga peticiones en lugar de limitarse a continuar texto.
- RLHF
- El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
- Direct preference optimization
- La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
- Fine-tuning eficiente en parámetros
- El fine-tuning eficiente en parámetros (PEFT, parameter-efficient fine-tuning) adapta un modelo preentrenado entrenando solo un pequeño número de parámetros nuevos o seleccionados y dejando el resto congelado. Reduce la memoria, el cómputo y el almacenamiento que exige el fine-tuning completo.
- Modelo base
- Un modelo base (base model) es un modelo de lenguaje recién salido del preentrenamiento, antes del ajuste por instrucciones o del entrenamiento con feedback humano. Continúa el texto que se le da en lugar de seguir instrucciones o mantener una conversación.