Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Humanity's Last Exam

Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.

Aussi appelé : HLE, HLE-Rolling

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

HLE a été publié en 2025 après que des tests plus anciens comme MMLU ont cessé de départager les meilleurs modèles ; ses auteurs notent que les modèles dépassent 90 % sur ces benchmarks. Des experts de nombreuses disciplines à travers le monde ont rédigé les questions, qui couvrent les mathématiques, les sciences humaines et les sciences naturelles. Certaines comportent des images : le test est donc multimodal.

Format

Les questions sont soit à choix multiples, soit à réponse courte, afin de pouvoir être notées automatiquement. Chacune a une réponse unique, connue et sans ambiguïté, qu'une recherche web rapide ne permet pas de trouver. Les auteurs le présentent comme destiné à être le dernier benchmark académique fermé de ce genre. En plus des questions publiques, ils conservent un ensemble privé mis de côté pour vérifier si les modèles se sont surajustés aux questions publiques.

Mises à jour

Le jeu de données a été finalisé à 2 500 questions en avril 2025, et l'article a été publié dans Nature en janvier 2026. L'équipe gère aussi HLE-Rolling, une variante dynamique mise à jour au fil du temps. Certaines évaluations de modèles, dont l'Artificial Analysis Intelligence Index, en utilisent un sous-ensemble.

Ce qu'il montre et ne montre pas

Un score HLE élevé signifie qu'un modèle répond bien à des questions d'experts difficiles, souvent avec l'aide du calcul au moment du test. Il ne montre pas qu'un modèle sait mener une recherche ouverte ou des tâches longues, ce que les benchmarks d'agents tentent de couvrir. La calibration, c'est-à-dire la capacité d'un modèle à savoir quand il risque de se tromper, est aussi rapportée et souvent médiocre. Voir GPQA pour un test plus petit, limité aux sciences.

Termes liés

Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.
MMLU
MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.
Modèle de raisonnement
Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.

Sources