KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Auch: benchmark, LLM benchmark, eval suite
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Benchmarks geben dem Fachgebiet einen gemeinsamen Maßstab. Wenn ein Labor sagt, ein neues Modell sei besser im Coding, meint es meist eine höhere Punktzahl bei einem Benchmark wie SWE-bench. Embedding-Modelle werden auf MTEB verglichen. Ergebnisse werden auf Leaderboards und in unseren eigenen Rankings gesammelt.
So liest du ein Benchmark-Ergebnis
Frag, worin die Aufgabe tatsächlich besteht. Eine Multiple-Choice-Prüfung, eine Reihe echter GitHub-Issues und eine Publikumsabstimmung messen sehr verschiedene Dinge. Frag, wie bewertet wurde: exakte Antwort, bestandene Unit-Tests oder ein Modell als Richter. Prüf den Aufbau: wie viele Versuche erlaubt waren (siehe pass@k), welche Tools und Prompts genutzt wurden und ob das Labor den Test selbst durchgeführt hat oder eine unabhängige Gruppe. Kleine Unterschiede zwischen Modellen liegen oft im Rauschen des Tests.
Warum Ergebnisse täuschen
Ein Benchmark ist nur nützlich, solange Modelle seine Antworten nicht gesehen haben. Gelangen Testaufgaben in die Trainingsdaten, steigen die Ergebnisse ohne echte Verbesserung; das ist Benchmark-Kontamination. Beliebte Benchmarks sättigen außerdem: Sobald alle Spitzenmodelle nahe am Maximum liegen, trennt der Test sie nicht mehr, und das Feld wechselt zu einem schwereren. Und ein Modell kann auf das Format eines Benchmarks abgestimmt werden, ohne in der zugrunde liegenden Fähigkeit besser zu werden.
Das HELM-Projekt argumentierte, dass eine einzelne Genauigkeitszahl zu viel verbirgt, und maß Modelle über viele Szenarien und mehrere Metriken, darunter Kalibrierung und Robustheit.
Benchmarks und deine eigenen Evals
Nutze öffentliche Benchmarks für eine Vorauswahl. Führe dann eine LLM-Evaluierung mit deinen eigenen Aufgaben und Daten durch, denn nur dieser Test zeigt dir, wie ein Modell für deine Nutzer abschneidet.
Verwandte Begriffe
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- SWE-bench
- SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
- MTEB
- MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- pass@k
- pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.