Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LLM-Evaluierung

LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.

Auch: evals, LLM evals, model evaluation

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Einen Prompt zu ändern, ein Modell zu tauschen oder einen Retrieval-Schritt hinzuzufügen, kann eine Anwendung bei einer Eingabe besser und bei anderen schlechter machen. Mit Evals findest du das heraus, bevor es die Nutzer tun. Die Dokumentation von Anthropic sagt es einfach: Erst Erfolgskriterien festlegen, dann Evaluierungen entwerfen, die daran messen.

So funktioniert es

Eine Eval hat drei Teile. Einen Datensatz von Eingaben, idealerweise aus echter Nutzung und mit Randfällen, oft als Golden Dataset mit Referenzantworten geführt. Einen Weg, das System auf jeder Eingabe auszuführen. Und einen Bewerter. Bewerter reichen von exaktem Abgleich und Code-Prüfungen (lässt sich das JSON parsen, besteht der Test) über Ähnlichkeitswerte und menschliche Prüfung bis zu LLM-as-a-Judge, bei dem ein zweites Modell die Antwort nach einem Kriterienkatalog bewertet. Der Leitfaden von Anthropic rät, Fragen so zu strukturieren, dass die Bewertung automatisiert werden kann, und lieber mehr Testfälle zu nutzen als wenige von Hand bewertete.

Modell-Evals und Anwendungs-Evals

Öffentliche KI-Benchmarks bewerten Modelle bei gemeinsamen Aufgaben, was dir bei einer Vorauswahl hilft. Anwendungs-Evals nutzen deine eigenen Daten, Prompts und Tools, was dir sagt, ob das System für deine Nutzer funktioniert. Das HELM-Projekt plädierte dafür, Modelle mit vielen Metriken gleichzeitig zu messen, etwa Genauigkeit, Kalibrierung und Robustheit, statt nur mit Genauigkeit; dieselbe Idee gilt für deine eigenen Evals.

In der Praxis

Teams lassen Evals bei jeder Änderung an Prompt oder Modell in der CI laufen, eine Praxis namens LLM-Regressionstests, und fügen Fehler aus Produktions-Traces als neue Fälle hinzu. Zu den Open-Source-Frameworks gehören promptfoo, DeepEval und Ragas. Der Leitfaden zur Evaluierungsstufe vergleicht die Tools. Evals für Sicherheit, bei denen die Eingaben Angriffe sind, heißen meist Red Teaming.

Verwandte Begriffe

LLM-as-a-Judge
LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
KI-Red-Teaming
KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.
Golden Dataset
Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
Regressionstests (LLM-Apps)
Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.

Quellen