Modelo de recompensa
Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
También llamado: preference model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Las personas no pueden valorar millones de salidas de un modelo durante el entrenamiento, así que un modelo de recompensa las sustituye. Suele ser un modelo de lenguaje cuya última capa se sustituye por una salida de un solo número. Aprende de comparaciones: se le muestra un prompt y dos respuestas, además de cuál prefirió una persona, y se entrena para dar a la preferida una puntuación más alta.
Dónde se usa
Los modelos de recompensa son el núcleo del RLHF. En el trabajo de OpenAI sobre resúmenes y después en InstructGPT, las personas comparaban u ordenaban salidas, un modelo aprendía a predecir su preferencia y ese modelo servía luego como función de recompensa para el aprendizaje por refuerzo del modelo de política. La política suele ser el resultado del fine-tuning supervisado.
También se usan fuera del entrenamiento: para elegir la mejor de varias respuestas muestreadas en el momento de la inferencia, que es una forma de test-time compute, y para filtrar u ordenar datos sintéticos.
Modelo de recompensa frente a DPO
DPO prescinde del modelo de recompensa independiente y entrena el modelo de lenguaje directamente con pares de preferencias. Es más sencillo de ejecutar, por eso lo usan muchos modelos abiertos. Un modelo de recompensa independiente sigue siendo útil cuando quieres un evaluador reutilizable o aprendizaje por refuerzo online.
Límites
Un modelo de recompensa es solo una aproximación de lo que quiere la gente. Una política optimizada con fuerza contra él puede encontrar salidas que puntúan bien pero no son mejores, como respuestas largas o aduladoras. Esto se llama reward hacking, y los procesos de entrenamiento lo limitan penalizando a la política si se aleja demasiado de su punto de partida.
Términos relacionados
- RLHF
- El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
- Direct preference optimization
- La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
- Fine-tuning supervisado
- El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- Alineamiento de la IA
- El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.