Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

RLHF

RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.

Auch: reinforcement learning from human feedback

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Ein vortrainiertes Modell sagt wahrscheinlichen Text voraus, und das ist nicht dasselbe wie eine hilfreiche, ehrliche Antwort. RLHF ist ein Weg, diese Lücke zu schließen. Bekannt wurde es vor allem durch das InstructGPT-Paper von OpenAI (Ouyang et al., 2022), das GPT-3 in ein Modell verwandelte, das Anweisungen befolgt.

So funktioniert es

Das Rezept von InstructGPT hat drei Schritte. Erstens schreiben Menschen gute Antworten auf Prompts, und das Modell wird per Supervised Fine-Tuning darauf trainiert. Zweitens schreibt das Modell mehrere Antworten pro Prompt, und Annotatoren ordnen sie; ein separates Reward Model wird darauf trainiert, diese Rangfolgen vorherzusagen. Drittens wird das Modell mit Reinforcement Learning (im Paper PPO) darauf trainiert, Antworten zu erzeugen, die das Reward Model hoch bewertet, während eine Strafe verhindert, dass es sich zu weit vom Ausgangsmodell entfernt.

In den menschlichen Bewertungen des Papers wurden Ausgaben eines InstructGPT-Modells mit 1.3B Parametern denen des 175B-Modells GPT-3 vorgezogen, obwohl es 100x weniger Parameter hatte.

Grenzen

RLHF ist teuer und knifflig. Es braucht viel menschliches Labeling, ein zweites Modell und eine RL-Schleife, die instabil sein kann. Das Modell kann lernen, Schwächen des Reward Models auszunutzen, statt sich wirklich zu verbessern. Auch die Präferenzen der Annotatoren prägen das Ergebnis, was Teil der breiteren Debatte um KI-Alignment ist.

RLHF und DPO

Direct Preference Optimization nutzt dieselbe Art von Präferenzdaten, verzichtet aber auf das separate Reward Model und die RL-Schleife. Deshalb nutzen viele offene Modelle inzwischen stattdessen DPO oder eine Variante davon.

Verwandte Begriffe

Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Reward Model
Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.

Quellen