Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

GPQA

GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.

Aussi appelé : Graduate-Level Google-Proof Q&A, GPQA Diamond

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

GPQA a été publié en 2023 par David Rein et ses collègues. Les questions ont été rédigées et vérifiées par des personnes titulaires d'un doctorat ou en cours de doctorat dans chaque domaine. Pour prouver que les questions sont difficiles, les auteurs les ont soumises à des valideurs compétents d'autres domaines, qui pouvaient chercher librement sur le web.

Les chiffres

Les experts du domaine ont atteint 65 % de bonnes réponses, ou 74 % après déduction des erreurs qu'ils ont repérées après coup. Les non-spécialistes n'ont atteint que 34 %, alors qu'ils ont passé en moyenne plus de 30 minutes par question avec un accès complet au web. C'est ce que signifie « Google-proof » : impossible de trouver la réponse en la cherchant. La meilleure référence GPT-4 de l'article obtenait 39 %.

GPQA Diamond

L'article publie trois ensembles : un ensemble étendu de 546 questions, l'ensemble principal de 448 et un ensemble Diamond de 198. Diamond ne conserve que les questions pour lesquelles les deux valideurs experts étaient d'accord avec la réponse et au plus un des trois non-spécialistes a trouvé la bonne réponse. Diamond est la version que citent la plupart des créateurs de modèles.

Pourquoi il a été créé

Les auteurs voulaient un test de supervision évolutive (scalable oversight) : comment des personnes peuvent vérifier les réponses d'une IA dans des domaines où l'IA en sait peut-être plus qu'elles. Pour vous qui construisez, GPQA est un indicateur de raisonnement scientifique difficile, souvent cité aux côtés de MMLU et de Humanity's Last Exam. Il est à choix multiples et de petite taille, si bien que quelques questions font bouger le score, et il est public, si bien qu'une contamination des benchmarks est possible. Comparez-le d'un modèle à l'autre dans les classements plutôt que de lire un score isolé.

Termes liés

Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
MMLU
MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.
Humanity's Last Exam
Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.
Modèle de raisonnement
Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.

Sources