Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Direct preference optimization

La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.

También llamado: DPO

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

Rafailov et al. presentaron DPO en 2023 como un camino más sencillo hacia el mismo objetivo que el RLHF. Ambos parten de datos de preferencias: para cada prompt, una respuesta que gustó más a las personas y otra que gustó menos. El RLHF entrena primero un modelo de recompensa con esos datos y después aplica aprendizaje por refuerzo contra él. DPO demuestra que el mismo objetivo se puede reformular para que sea el propio modelo de lenguaje el que se entrene con los pares, con una pérdida que aumenta la probabilidad de la respuesta elegida respecto a la rechazada, medida frente a una copia de referencia congelada del modelo.

Por qué se extendió

No hay un segundo modelo que entrenar ni muestreo del modelo durante el entrenamiento, así que DPO funciona como un fine-tuning supervisado normal. El artículo lo describe como estable, eficaz y ligero en cómputo, y presenta resultados que igualan o superan al RLHF basado en PPO en las tareas probadas. Muchas herramientas abiertas de fine-tuning, entre ellas Unsloth y Axolotl, lo admiten.

Límites

DPO solo aprende de los pares que le das, así que la calidad de los datos importa muchísimo: unas preferencias ruidosas o incoherentes producen un modelo confuso. Normalmente se aplica después del fine-tuning supervisado, no en su lugar. Como es offline, no puede explorar respuestas nuevas como sí puede un bucle de RL, y varias variantes posteriores intentan resolverlo. Para una visión más amplia de cómo adaptar un modelo, consulta fine-tuning.

Términos relacionados

RLHF
El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
Modelo de recompensa
Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
Alineamiento de la IA
El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.

Fuentes