Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Direct Preference Optimization

Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.

Auch: DPO

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

DPO wurde 2023 von Rafailov et al. als einfacherer Weg zum selben Ziel wie RLHF vorgestellt. Beide beginnen mit Präferenzdaten: Zu jedem Prompt gibt es eine Antwort, die Menschen besser fanden, und eine, die sie weniger mochten. RLHF trainiert auf diesen Daten zuerst ein Reward-Modell und führt dann Reinforcement Learning dagegen aus. DPO zeigt, dass sich dasselbe Ziel so umschreiben lässt, dass das Sprachmodell selbst auf den Paaren trainiert wird, mit einer Verlustfunktion, die die Wahrscheinlichkeit der gewählten Antwort gegenüber der abgelehnten erhöht, gemessen an einer eingefrorenen Referenzkopie des Modells.

Warum es sich durchgesetzt hat

Es gibt kein zweites Modell zu trainieren und kein Sampling aus dem Modell während des Trainings, DPO läuft also wie gewöhnliches Supervised Fine-Tuning. Das Paper beschreibt es als stabil, leistungsfähig und rechnerisch leichtgewichtig und berichtet Ergebnisse, die bei den getesteten Aufgaben PPO-basiertes RLHF erreichen oder übertreffen. Viele offene Fine-Tuning-Tools, darunter Unsloth und Axolotl, unterstützen es.

Grenzen

DPO lernt nur aus den Paaren, die du ihm gibst, die Datenqualität ist also sehr wichtig: Verrauschte oder widersprüchliche Präferenzen erzeugen ein verwirrtes Modell. Es wird meist nach dem Supervised Fine-Tuning angewendet, nicht stattdessen. Weil es offline arbeitet, kann es keine neuen Antworten erkunden wie eine RL-Schleife, und mehrere spätere Varianten versuchen, das anzugehen. Für den größeren Zusammenhang der Modellanpassung siehe Fine-Tuning.

Verwandte Begriffe

RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Reward Model
Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.

Quellen