MMLU
MMLU (Massive Multitask Language Understanding) ist ein Multiple-Choice-Benchmark über 57 Fächer, von Grundschulmathematik und US-Geschichte bis zu Recht und Informatik, der das breite Wissen und die Problemlösung eines Sprachmodells testet.
Auch: Massive Multitask Language Understanding, MMLU-Pro
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
MMLU wurde 2020 von Dan Hendrycks und Kollegen veröffentlicht. Es stellt Multiple-Choice-Fragen mit je vier Optionen über 57 Aufgaben auf Niveaus von der Schule bis zum Berufsleben. Der Wert eines Modells ist seine Genauigkeit. Mehrere Jahre lang war es die Schlagzeilenzahl bei fast jedem Modellstart, weil es eine einzige Zahl für Allgemeinwissen lieferte.
Warum es heute weniger zählt
Benchmarks nutzen sich ab. Die Autoren von Humanity's Last Exam halten fest, dass Modelle bei populären Benchmarks wie MMLU inzwischen über 90% erreichen, was wenig Raum lässt, starke Modelle zu unterscheiden. Die Autoren von MMLU-Pro fanden darin triviale und verrauschte Fragen, und der Test ist schon so lange öffentlich, dass Benchmark-Kontamination ein echtes Problem ist. Ein hoher MMLU-Wert sagt heute vor allem, dass ein Modell nicht schwach ist.
MMLU-Pro
MMLU-Pro von 2024 ist eine schwierigere Version. Es fügt Fragen mit Schwerpunkt auf logischem Denken hinzu, erweitert die Auswahl von vier auf zehn Optionen, damit Raten sich weniger lohnt, und entfernt triviale und verrauschte Fragen. Seine Autoren berichten von Genauigkeitsverlusten von 16% bis 33% im Vergleich zu MMLU, geringerer Empfindlichkeit gegenüber der Formulierung des Prompts und besseren Ergebnissen mit Chain-of-Thought-Reasoning, was darauf hindeutet, dass es neben Erinnern auch Denken testet.
Anwendung
Betrachte MMLU und MMLU-Pro als breite Wissenschecks. Für schwierige naturwissenschaftliche Fragen sieh dir GPQA an, und wie ein Modell insgesamt abschneidet, zeigt ein Leaderboard oder die Rankings der Site.
Verwandte Begriffe
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) ist ein Benchmark aus 448 schweren Multiple-Choice-Fragen in Biologie, Physik und Chemie, von Experten so geschrieben, dass kundige Laien sie selbst mit unbegrenzter Websuche nicht beantworten können.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.