Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Menschliche Bewertung

Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.

Auch: human raters, blind test, human grading, pairwise preference

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Viele wichtige Eigenschaften, etwa ob eine Antwort hilfreich, gut geschrieben oder angemessen ist, lassen sich schwer per Code bewerten. Menschliche Bewertung fragt Menschen. Sie ist die Referenz, an der günstigere Methoden gemessen werden.

Gängige Formate

Bei der absoluten Bewertung benotet eine Person eine Ausgabe auf einer Skala oder nach einem Kriterienkatalog. Bei der paarweisen Präferenz sieht eine Person zwei Ausgaben zum selben Prompt und wählt die bessere; das lässt sich leichter einheitlich durchführen. Die Expertenprüfung setzt Fachleute wie Ärzte oder Juristen ein, wo allgemeine Bewertende die Richtigkeit nicht beurteilen können. Ein Blindtest verbirgt, welches Modell welche Antwort geschrieben hat, damit Marke oder Erwartung die Stimme nicht beeinflussen.

Wo sie auftaucht

LMArena sammelt paarweise Stimmen aus der Öffentlichkeit und macht daraus ein Leaderboard; die Autoren berichten, dass die Stimmen der Masse gut mit Experten übereinstimmen. Auch das Modelltraining nutzt menschliche Präferenzen, per RLHF. In deiner eigenen App ist ein kleiner Satz von Menschen bewerteter Beispiele der beste Weg, zu prüfen, ob ein Bewerter nach dem Prinzip LLM-as-a-Judge mit Menschen übereinstimmt, bevor du dich auf ihn verlässt.

Grenzen

Der Evaluierungsleitfaden von Anthropic nennt menschliche Bewertung die flexibelste Methode mit der höchsten Qualität, aber langsam und teuer. Bewertende sind sich uneinig, ermüden und weichen mit der Zeit ab, schreib also klare Anweisungen, miss die Übereinstimmung zwischen Bewertenden und misch Einträge mit bekannten Antworten aus einem Golden Dataset unter. Präferenz ist auch nicht Richtigkeit: Eine selbstsichere, gut formatierte Antwort kann eine Abstimmung gewinnen und trotzdem falsch sein.

Verwandte Begriffe

LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
LMArena
LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
LLM-as-a-Judge
LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Golden Dataset
Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.

Quellen