LLM-as-a-Judge
LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
Auch: judge model, LLM judge, model-graded eval
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Viele KI-Ausgaben lassen sich nicht per exaktem Abgleich prüfen: eine Zusammenfassung, eine Support-Antwort, ein Ratschlag. Menschliche Prüfung ist der Goldstandard, aber langsam und teuer. Ein Richter-Modell kann Tausende Ausgaben schnell bewerten, was es zu einem gängigen Bewerter bei der LLM-Evaluierung macht.
So funktioniert es
Du gibst dem Richter die Eingabe, die zu bewertende Ausgabe und Anweisungen. Gängige Formate sind ein einzelner Wert nach einem Kriterienkatalog (etwa: Ist die Antwort quellentreu, 1 bis 5), Bestanden oder Nicht bestanden bei einer bestimmten Regel oder eine paarweise Wahl zwischen zwei Antworten. Wenn du den Richter seine Begründung vor der Bewertung erklären lässt, lassen sich seine Entscheidungen leichter prüfen.
Zheng et al. benannten und untersuchten die Methode mit MT-Bench und Chatbot Arena. Sie berichteten, dass starke Richter wie GPT-4 über 80% Übereinstimmung mit menschlichen Präferenzen erreichten, etwa so viel, wie Menschen untereinander übereinstimmen.
Bekannte Verzerrungen
Dasselbe Paper dokumentierte Probleme, die du beim Design berücksichtigen solltest. Positionsverzerrung: die Antwort bevorzugen, die zuerst kommt. Längenverzerrung: längere Antworten bevorzugen. Selbstbevorzugung: Antworten bevorzugen, die von der eigenen Modellfamilie des Richters stammen. Richter tun sich auch schwer damit, Mathematik und Schlussfolgerungen zu bewerten, die sie selbst nicht beherrschen. Gängige Abhilfen sind, die Reihenfolge der Antworten zu tauschen und zu mitteln, dem Richter Referenzantworten zu geben und eine andere Modellfamilie als Richter zu nutzen.
Menschen eingebunden lassen
Prüf eine Stichprobe der Richter-Bewertungen gegen menschliche Bewertung, bevor du ihnen vertraust, und prüf erneut, wenn du Richter-Modell oder Prompt änderst. Ein Golden Dataset mit menschlichen Labels macht diese Kalibrierung wiederholbar. Frameworks wie DeepEval und promptfoo bringen fertige Richter-Metriken mit.
Verwandte Begriffe
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- Menschliche Bewertung
- Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.
- Golden Dataset
- Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
- LMArena
- LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.