Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Auch: DPO
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
DPO wurde 2023 von Rafailov et al. als einfacherer Weg zum selben Ziel wie RLHF vorgestellt. Beide beginnen mit Präferenzdaten: Zu jedem Prompt gibt es eine Antwort, die Menschen besser fanden, und eine, die sie weniger mochten. RLHF trainiert auf diesen Daten zuerst ein Reward-Modell und führt dann Reinforcement Learning dagegen aus. DPO zeigt, dass sich dasselbe Ziel so umschreiben lässt, dass das Sprachmodell selbst auf den Paaren trainiert wird, mit einer Verlustfunktion, die die Wahrscheinlichkeit der gewählten Antwort gegenüber der abgelehnten erhöht, gemessen an einer eingefrorenen Referenzkopie des Modells.
Warum es sich durchgesetzt hat
Es gibt kein zweites Modell zu trainieren und kein Sampling aus dem Modell während des Trainings, DPO läuft also wie gewöhnliches Supervised Fine-Tuning. Das Paper beschreibt es als stabil, leistungsfähig und rechnerisch leichtgewichtig und berichtet Ergebnisse, die bei den getesteten Aufgaben PPO-basiertes RLHF erreichen oder übertreffen. Viele offene Fine-Tuning-Tools, darunter Unsloth und Axolotl, unterstützen es.
Grenzen
DPO lernt nur aus den Paaren, die du ihm gibst, die Datenqualität ist also sehr wichtig: Verrauschte oder widersprüchliche Präferenzen erzeugen ein verwirrtes Modell. Es wird meist nach dem Supervised Fine-Tuning angewendet, nicht stattdessen. Weil es offline arbeitet, kann es keine neuen Antworten erkunden wie eine RL-Schleife, und mehrere spätere Varianten versuchen, das anzugehen. Für den größeren Zusammenhang der Modellanpassung siehe Fine-Tuning.
Verwandte Begriffe
- RLHF
- RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
- Reward Model
- Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Supervised Fine-Tuning
- Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
- KI-Alignment
- KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.