Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Humanity's Last Exam

Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.

Auch: HLE, HLE-Rolling

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

HLE erschien 2025, nachdem ältere Tests wie MMLU die besten Modelle nicht mehr voneinander trennten; die Autoren merken an, dass Modelle bei solchen Benchmarks über 90% erreichen. Fachexperten auf der ganzen Welt schrieben die Fragen, die Mathematik, Geisteswissenschaften und Naturwissenschaften umfassen. Manche enthalten Bilder, der Test ist also multimodal.

Format

Die Fragen sind entweder Multiple Choice oder Kurzantwort, damit sie automatisch bewertet werden können. Jede hat eine bekannte, eindeutige Antwort, die sich nicht mit einer schnellen Websuche finden lässt. Die Autoren beschreiben ihn als den letzten geschlossenen akademischen Benchmark seiner Art. Neben den öffentlichen Fragen halten sie einen privaten Satz zurück, um zu prüfen, ob Modelle sich an die öffentlichen überangepasst haben.

Aktualisierungen

Der Datensatz wurde im April 2025 mit 2.500 Fragen abgeschlossen, und das Paper erschien im Januar 2026 in Nature. Das Team betreibt außerdem HLE-Rolling, einen dynamischen Fork, der laufend aktualisiert wird. Manche Modellevaluierungen, darunter der Artificial Analysis Intelligence Index, nutzen eine Teilmenge.

Was er zeigt und was nicht

Ein hohes HLE-Ergebnis heißt, dass ein Modell schwere Expertenfragen gut beantwortet, oft mithilfe von Test-Time Compute. Es zeigt nicht, dass ein Modell offene Forschung oder lange Aufgaben bewältigen kann, was Agenten-Benchmarks abzudecken versuchen. Auch die Kalibrierung, also ob ein Modell weiß, wann es wahrscheinlich falsch liegt, wird angegeben und ist oft schlecht. Siehe GPQA für einen kleineren Test nur zu Naturwissenschaften.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) ist ein Benchmark aus 448 schweren Multiple-Choice-Fragen in Biologie, Physik und Chemie, von Experten so geschrieben, dass kundige Laien sie selbst mit unbegrenzter Websuche nicht beantworten können.
MMLU
MMLU (Massive Multitask Language Understanding) ist ein Multiple-Choice-Benchmark über 57 Fächer, von Grundschulmathematik und US-Geschichte bis zu Recht und Informatik, der das breite Wissen und die Problemlösung eines Sprachmodells testet.
Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.

Quellen