Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

RLHF

El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.

También llamado: reinforcement learning from human feedback

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

Un modelo preentrenado predice texto probable, que no es lo mismo que dar una respuesta útil y honesta. El RLHF es una forma de cerrar esa brecha. Se dio a conocer ampliamente con el artículo de InstructGPT de OpenAI (Ouyang et al., 2022), que convirtió GPT-3 en un modelo que sigue instrucciones.

Cómo funciona

La receta de InstructGPT tiene tres pasos. Primero, personas escriben buenas respuestas a prompts y el modelo se ajusta con fine-tuning supervisado sobre ellas. Segundo, el modelo escribe varias respuestas por prompt y unos etiquetadores las ordenan; se entrena un modelo de recompensa independiente para predecir esas clasificaciones. Tercero, el modelo se entrena con aprendizaje por refuerzo (PPO en el artículo) para producir respuestas que el modelo de recompensa puntúe alto, mientras una penalización evita que se aleje demasiado del modelo de partida.

En las evaluaciones humanas del artículo, las salidas de un modelo InstructGPT de 1.3B parámetros se prefirieron a las de GPT-3 de 175B, pese a tener 100x menos parámetros.

Límites

El RLHF es caro y delicado. Necesita mucho etiquetado humano, un segundo modelo y un bucle de RL que puede ser inestable. El modelo puede aprender a explotar los puntos débiles del modelo de recompensa en lugar de mejorar de verdad. Las preferencias de los etiquetadores también condicionan el resultado, lo que forma parte del debate más amplio sobre alineamiento de IA.

RLHF y DPO

La direct preference optimization usa el mismo tipo de datos de preferencias pero prescinde del modelo de recompensa independiente y del bucle de RL, por eso muchos modelos abiertos la usan ahora, o una variante, en su lugar.

Términos relacionados

Direct preference optimization
La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
Modelo de recompensa
Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Alineamiento de la IA
El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.

Fuentes