Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Reward Model

Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.

Auch: preference model

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Menschen können im Training nicht Millionen von Modellausgaben bewerten, also springt ein Reward Model für sie ein. Meist ist es ein Sprachmodell, dessen letzte Schicht durch eine Ausgabe mit einer einzigen Zahl ersetzt wurde. Es lernt aus Vergleichen: Es bekommt einen Prompt und zwei Antworten gezeigt, dazu, welche eine Person bevorzugt hat, und wird darauf trainiert, der bevorzugten einen höheren Wert zu geben.

Wo es eingesetzt wird

Reward Models sind der Kern von RLHF. In der Arbeit von OpenAI zur Zusammenfassung und später bei InstructGPT verglichen oder ordneten Menschen Ausgaben, ein Modell lernte, ihre Präferenz vorherzusagen, und dieses Modell diente dann als Belohnungsfunktion für Reinforcement Learning am Policy-Modell. Die Policy ist meist das Ergebnis von Supervised Fine-Tuning.

Sie werden auch außerhalb des Trainings genutzt: um bei der Inferenz die beste von mehreren gesampelten Antworten auszuwählen, eine Form von Test-Time Compute, und um synthetische Daten zu filtern oder zu ordnen.

Reward Model versus DPO

DPO verzichtet auf das separate Reward Model und trainiert das Sprachmodell direkt auf Präferenzpaaren. Es ist einfacher umzusetzen, weshalb viele offene Modelle es nutzen. Ein separates Reward Model bleibt nützlich, wenn du einen wiederverwendbaren Bewerter oder Online-Reinforcement-Learning willst.

Grenzen

Ein Reward Model ist nur eine Annäherung an das, was Menschen wollen. Eine Policy, die stark darauf optimiert wird, kann Ausgaben finden, die gut bewertet werden, aber nicht wirklich besser sind, etwa lange oder schmeichelnde Antworten. Das heißt Reward Hacking, und Trainings-Pipelines begrenzen es, indem sie die Policy bestrafen, wenn sie sich zu weit von ihrem Ausgangspunkt entfernt.

Verwandte Begriffe

RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
LLM-as-a-Judge
LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.

Quellen