RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Auch: reinforcement learning from human feedback
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Ein vortrainiertes Modell sagt wahrscheinlichen Text voraus, und das ist nicht dasselbe wie eine hilfreiche, ehrliche Antwort. RLHF ist ein Weg, diese Lücke zu schließen. Bekannt wurde es vor allem durch das InstructGPT-Paper von OpenAI (Ouyang et al., 2022), das GPT-3 in ein Modell verwandelte, das Anweisungen befolgt.
So funktioniert es
Das Rezept von InstructGPT hat drei Schritte. Erstens schreiben Menschen gute Antworten auf Prompts, und das Modell wird per Supervised Fine-Tuning darauf trainiert. Zweitens schreibt das Modell mehrere Antworten pro Prompt, und Annotatoren ordnen sie; ein separates Reward Model wird darauf trainiert, diese Rangfolgen vorherzusagen. Drittens wird das Modell mit Reinforcement Learning (im Paper PPO) darauf trainiert, Antworten zu erzeugen, die das Reward Model hoch bewertet, während eine Strafe verhindert, dass es sich zu weit vom Ausgangsmodell entfernt.
In den menschlichen Bewertungen des Papers wurden Ausgaben eines InstructGPT-Modells mit 1.3B Parametern denen des 175B-Modells GPT-3 vorgezogen, obwohl es 100x weniger Parameter hatte.
Grenzen
RLHF ist teuer und knifflig. Es braucht viel menschliches Labeling, ein zweites Modell und eine RL-Schleife, die instabil sein kann. Das Modell kann lernen, Schwächen des Reward Models auszunutzen, statt sich wirklich zu verbessern. Auch die Präferenzen der Annotatoren prägen das Ergebnis, was Teil der breiteren Debatte um KI-Alignment ist.
RLHF und DPO
Direct Preference Optimization nutzt dieselbe Art von Präferenzdaten, verzichtet aber auf das separate Reward Model und die RL-Schleife. Deshalb nutzen viele offene Modelle inzwischen stattdessen DPO oder eine Variante davon.
Verwandte Begriffe
- Direct Preference Optimization
- Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
- Reward Model
- Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
- Supervised Fine-Tuning
- Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- KI-Alignment
- KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.