GPQA
GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.
Aussi appelé : Graduate-Level Google-Proof Q&A, GPQA Diamond
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
GPQA a été publié en 2023 par David Rein et ses collègues. Les questions ont été rédigées et vérifiées par des personnes titulaires d'un doctorat ou en cours de doctorat dans chaque domaine. Pour prouver que les questions sont difficiles, les auteurs les ont soumises à des valideurs compétents d'autres domaines, qui pouvaient chercher librement sur le web.
Les chiffres
Les experts du domaine ont atteint 65 % de bonnes réponses, ou 74 % après déduction des erreurs qu'ils ont repérées après coup. Les non-spécialistes n'ont atteint que 34 %, alors qu'ils ont passé en moyenne plus de 30 minutes par question avec un accès complet au web. C'est ce que signifie « Google-proof » : impossible de trouver la réponse en la cherchant. La meilleure référence GPT-4 de l'article obtenait 39 %.
GPQA Diamond
L'article publie trois ensembles : un ensemble étendu de 546 questions, l'ensemble principal de 448 et un ensemble Diamond de 198. Diamond ne conserve que les questions pour lesquelles les deux valideurs experts étaient d'accord avec la réponse et au plus un des trois non-spécialistes a trouvé la bonne réponse. Diamond est la version que citent la plupart des créateurs de modèles.
Pourquoi il a été créé
Les auteurs voulaient un test de supervision évolutive (scalable oversight) : comment des personnes peuvent vérifier les réponses d'une IA dans des domaines où l'IA en sait peut-être plus qu'elles. Pour vous qui construisez, GPQA est un indicateur de raisonnement scientifique difficile, souvent cité aux côtés de MMLU et de Humanity's Last Exam. Il est à choix multiples et de petite taille, si bien que quelques questions font bouger le score, et il est public, si bien qu'une contamination des benchmarks est possible. Comparez-le d'un modèle à l'autre dans les classements plutôt que de lire un score isolé.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- MMLU
- MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.
- Modèle de raisonnement
- Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.