Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

MMLU

MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.

Aussi appelé : Massive Multitask Language Understanding, MMLU-Pro

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

MMLU a été publié en 2020 par Dan Hendrycks et ses collègues. Il pose des questions à choix multiples, chacune avec quatre options, sur 57 tâches allant du niveau scolaire au niveau professionnel. Le score d'un modèle est sa précision. Pendant plusieurs années, ce fut le chiffre phare de presque chaque lancement de modèle, parce qu'il donnait un seul nombre pour la culture générale.

Pourquoi il compte moins aujourd'hui

Les benchmarks s'usent. Les auteurs de Humanity's Last Exam notent que les modèles dépassent désormais 90 % sur des benchmarks populaires comme MMLU, ce qui laisse peu de marge pour départager les modèles performants. Les auteurs de MMLU-Pro y ont trouvé des questions triviales et bruitées, et le test est public depuis assez longtemps pour que la contamination des benchmarks soit un vrai problème. Un score MMLU élevé indique surtout, aujourd'hui, qu'un modèle n'est pas faible.

MMLU-Pro

MMLU-Pro, sorti en 2024, est une version plus difficile. Il ajoute des questions axées sur le raisonnement, fait passer le nombre de choix de quatre à dix pour que deviner rapporte moins, et retire les questions triviales et bruitées. Ses auteurs rapportent des baisses de précision de 16 % à 33 % par rapport à MMLU, une moindre sensibilité à la formulation du prompt et de meilleurs résultats avec le raisonnement chain-of-thought, ce qui suggère qu'il teste le raisonnement autant que la mémoire.

L'utiliser

Considérez MMLU et MMLU-Pro comme des contrôles de connaissances générales. Pour les questions scientifiques difficiles, regardez GPQA, et pour le classement global d'un modèle, consultez un classement ou les classements du site.

Termes liés

Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.
Humanity's Last Exam
Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.
Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.

Sources