Menschliche Bewertung
Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.
Auch: human raters, blind test, human grading, pairwise preference
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Viele wichtige Eigenschaften, etwa ob eine Antwort hilfreich, gut geschrieben oder angemessen ist, lassen sich schwer per Code bewerten. Menschliche Bewertung fragt Menschen. Sie ist die Referenz, an der günstigere Methoden gemessen werden.
Gängige Formate
Bei der absoluten Bewertung benotet eine Person eine Ausgabe auf einer Skala oder nach einem Kriterienkatalog. Bei der paarweisen Präferenz sieht eine Person zwei Ausgaben zum selben Prompt und wählt die bessere; das lässt sich leichter einheitlich durchführen. Die Expertenprüfung setzt Fachleute wie Ärzte oder Juristen ein, wo allgemeine Bewertende die Richtigkeit nicht beurteilen können. Ein Blindtest verbirgt, welches Modell welche Antwort geschrieben hat, damit Marke oder Erwartung die Stimme nicht beeinflussen.
Wo sie auftaucht
LMArena sammelt paarweise Stimmen aus der Öffentlichkeit und macht daraus ein Leaderboard; die Autoren berichten, dass die Stimmen der Masse gut mit Experten übereinstimmen. Auch das Modelltraining nutzt menschliche Präferenzen, per RLHF. In deiner eigenen App ist ein kleiner Satz von Menschen bewerteter Beispiele der beste Weg, zu prüfen, ob ein Bewerter nach dem Prinzip LLM-as-a-Judge mit Menschen übereinstimmt, bevor du dich auf ihn verlässt.
Grenzen
Der Evaluierungsleitfaden von Anthropic nennt menschliche Bewertung die flexibelste Methode mit der höchsten Qualität, aber langsam und teuer. Bewertende sind sich uneinig, ermüden und weichen mit der Zeit ab, schreib also klare Anweisungen, miss die Übereinstimmung zwischen Bewertenden und misch Einträge mit bekannten Antworten aus einem Golden Dataset unter. Präferenz ist auch nicht Richtigkeit: Eine selbstsichere, gut formatierte Antwort kann eine Abstimmung gewinnen und trotzdem falsch sein.
Verwandte Begriffe
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- LMArena
- LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
- LLM-as-a-Judge
- LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
- RLHF
- RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
- Golden Dataset
- Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.