RLHF
El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
También llamado: reinforcement learning from human feedback
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Un modelo preentrenado predice texto probable, que no es lo mismo que dar una respuesta útil y honesta. El RLHF es una forma de cerrar esa brecha. Se dio a conocer ampliamente con el artículo de InstructGPT de OpenAI (Ouyang et al., 2022), que convirtió GPT-3 en un modelo que sigue instrucciones.
Cómo funciona
La receta de InstructGPT tiene tres pasos. Primero, personas escriben buenas respuestas a prompts y el modelo se ajusta con fine-tuning supervisado sobre ellas. Segundo, el modelo escribe varias respuestas por prompt y unos etiquetadores las ordenan; se entrena un modelo de recompensa independiente para predecir esas clasificaciones. Tercero, el modelo se entrena con aprendizaje por refuerzo (PPO en el artículo) para producir respuestas que el modelo de recompensa puntúe alto, mientras una penalización evita que se aleje demasiado del modelo de partida.
En las evaluaciones humanas del artículo, las salidas de un modelo InstructGPT de 1.3B parámetros se prefirieron a las de GPT-3 de 175B, pese a tener 100x menos parámetros.
Límites
El RLHF es caro y delicado. Necesita mucho etiquetado humano, un segundo modelo y un bucle de RL que puede ser inestable. El modelo puede aprender a explotar los puntos débiles del modelo de recompensa en lugar de mejorar de verdad. Las preferencias de los etiquetadores también condicionan el resultado, lo que forma parte del debate más amplio sobre alineamiento de IA.
RLHF y DPO
La direct preference optimization usa el mismo tipo de datos de preferencias pero prescinde del modelo de recompensa independiente y del bucle de RL, por eso muchos modelos abiertos la usan ahora, o una variante, en su lugar.
Términos relacionados
- Direct preference optimization
- La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
- Modelo de recompensa
- Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
- Fine-tuning supervisado
- El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
- Fine-tuning
- El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
- Alineamiento de la IA
- El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.