Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-Benchmark

Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.

Auch: benchmark, LLM benchmark, eval suite

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Benchmarks geben dem Fachgebiet einen gemeinsamen Maßstab. Wenn ein Labor sagt, ein neues Modell sei besser im Coding, meint es meist eine höhere Punktzahl bei einem Benchmark wie SWE-bench. Embedding-Modelle werden auf MTEB verglichen. Ergebnisse werden auf Leaderboards und in unseren eigenen Rankings gesammelt.

So liest du ein Benchmark-Ergebnis

Frag, worin die Aufgabe tatsächlich besteht. Eine Multiple-Choice-Prüfung, eine Reihe echter GitHub-Issues und eine Publikumsabstimmung messen sehr verschiedene Dinge. Frag, wie bewertet wurde: exakte Antwort, bestandene Unit-Tests oder ein Modell als Richter. Prüf den Aufbau: wie viele Versuche erlaubt waren (siehe pass@k), welche Tools und Prompts genutzt wurden und ob das Labor den Test selbst durchgeführt hat oder eine unabhängige Gruppe. Kleine Unterschiede zwischen Modellen liegen oft im Rauschen des Tests.

Warum Ergebnisse täuschen

Ein Benchmark ist nur nützlich, solange Modelle seine Antworten nicht gesehen haben. Gelangen Testaufgaben in die Trainingsdaten, steigen die Ergebnisse ohne echte Verbesserung; das ist Benchmark-Kontamination. Beliebte Benchmarks sättigen außerdem: Sobald alle Spitzenmodelle nahe am Maximum liegen, trennt der Test sie nicht mehr, und das Feld wechselt zu einem schwereren. Und ein Modell kann auf das Format eines Benchmarks abgestimmt werden, ohne in der zugrunde liegenden Fähigkeit besser zu werden.

Das HELM-Projekt argumentierte, dass eine einzelne Genauigkeitszahl zu viel verbirgt, und maß Modelle über viele Szenarien und mehrere Metriken, darunter Kalibrierung und Robustheit.

Benchmarks und deine eigenen Evals

Nutze öffentliche Benchmarks für eine Vorauswahl. Führe dann eine LLM-Evaluierung mit deinen eigenen Aufgaben und Daten durch, denn nur dieser Test zeigt dir, wie ein Modell für deine Nutzer abschneidet.

Verwandte Begriffe

Leaderboard (KI)
Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
SWE-bench
SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
MTEB
MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
pass@k
pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.

Quellen