Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

GPQA

GPQA (Graduate-Level Google-Proof Q&A) ist ein Benchmark aus 448 schweren Multiple-Choice-Fragen in Biologie, Physik und Chemie, von Experten so geschrieben, dass kundige Laien sie selbst mit unbegrenzter Websuche nicht beantworten können.

Auch: Graduate-Level Google-Proof Q&A, GPQA Diamond

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

GPQA wurde 2023 von David Rein und Kollegen veröffentlicht. Die Fragen wurden von Menschen geschrieben und geprüft, die im jeweiligen Fach promoviert sind oder auf eine Promotion hinarbeiten. Um zu belegen, dass die Fragen schwer sind, gaben die Autoren sie kundigen Prüfern aus anderen Fächern, die frei im Web suchen durften.

Die Zahlen

Fachexperten erreichten 65% Genauigkeit, oder 74% nach Abzug von Fehlern, die sie im Nachhinein bemerkten. Laien erreichten nur 34%, obwohl sie im Schnitt mehr als 30 Minuten pro Frage mit vollem Webzugang verbrachten. Das bedeutet „Google-proof“: Du kannst die Antwort nicht nachschlagen. Die stärkste GPT-4-Vergleichsbasis im Paper erreichte 39%.

GPQA Diamond

Das Paper veröffentlicht drei Sätze: einen erweiterten Satz mit 546 Fragen, den Hauptsatz mit 448 und einen Diamond-Satz mit 198. Diamond behält nur Fragen, bei denen beide Experten-Prüfer der Antwort zustimmten und höchstens einer von drei Laien richtig lag. Diamond ist die Version, die die meisten Modellhersteller angeben.

Warum er gebaut wurde

Die Autoren wollten einen Test für skalierbare Aufsicht (Scalable Oversight): wie Menschen KI-Antworten in Bereichen prüfen können, in denen die KI womöglich mehr weiß als sie. Für Entwickler ist GPQA ein Signal für schwieriges naturwissenschaftliches Denken, oft zusammen mit MMLU und Humanity's Last Exam angegeben. Er ist Multiple Choice und klein, wenige Fragen verschieben also das Ergebnis, und er ist öffentlich, Benchmark-Kontamination ist also möglich. Vergleiche ihn über Modelle hinweg in den Rankings, statt ein einzelnes Ergebnis für sich zu lesen.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
MMLU
MMLU (Massive Multitask Language Understanding) ist ein Multiple-Choice-Benchmark über 57 Fächer, von Grundschulmathematik und US-Geschichte bis zu Recht und Informatik, der das breite Wissen und die Problemlösung eines Sprachmodells testet.
Humanity's Last Exam
Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.
Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.

Quellen