GPQA
GPQA (Graduate-Level Google-Proof Q&A) ist ein Benchmark aus 448 schweren Multiple-Choice-Fragen in Biologie, Physik und Chemie, von Experten so geschrieben, dass kundige Laien sie selbst mit unbegrenzter Websuche nicht beantworten können.
Auch: Graduate-Level Google-Proof Q&A, GPQA Diamond
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
GPQA wurde 2023 von David Rein und Kollegen veröffentlicht. Die Fragen wurden von Menschen geschrieben und geprüft, die im jeweiligen Fach promoviert sind oder auf eine Promotion hinarbeiten. Um zu belegen, dass die Fragen schwer sind, gaben die Autoren sie kundigen Prüfern aus anderen Fächern, die frei im Web suchen durften.
Die Zahlen
Fachexperten erreichten 65% Genauigkeit, oder 74% nach Abzug von Fehlern, die sie im Nachhinein bemerkten. Laien erreichten nur 34%, obwohl sie im Schnitt mehr als 30 Minuten pro Frage mit vollem Webzugang verbrachten. Das bedeutet „Google-proof“: Du kannst die Antwort nicht nachschlagen. Die stärkste GPT-4-Vergleichsbasis im Paper erreichte 39%.
GPQA Diamond
Das Paper veröffentlicht drei Sätze: einen erweiterten Satz mit 546 Fragen, den Hauptsatz mit 448 und einen Diamond-Satz mit 198. Diamond behält nur Fragen, bei denen beide Experten-Prüfer der Antwort zustimmten und höchstens einer von drei Laien richtig lag. Diamond ist die Version, die die meisten Modellhersteller angeben.
Warum er gebaut wurde
Die Autoren wollten einen Test für skalierbare Aufsicht (Scalable Oversight): wie Menschen KI-Antworten in Bereichen prüfen können, in denen die KI womöglich mehr weiß als sie. Für Entwickler ist GPQA ein Signal für schwieriges naturwissenschaftliches Denken, oft zusammen mit MMLU und Humanity's Last Exam angegeben. Er ist Multiple Choice und klein, wenige Fragen verschieben also das Ergebnis, und er ist öffentlich, Benchmark-Kontamination ist also möglich. Vergleiche ihn über Modelle hinweg in den Rankings, statt ein einzelnes Ergebnis für sich zu lesen.
Verwandte Begriffe
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- MMLU
- MMLU (Massive Multitask Language Understanding) ist ein Multiple-Choice-Benchmark über 57 Fächer, von Grundschulmathematik und US-Geschichte bis zu Recht und Informatik, der das breite Wissen und die Problemlösung eines Sprachmodells testet.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.
- Reasoning-Modell
- Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.