MMLU
MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.
Aussi appelé : Massive Multitask Language Understanding, MMLU-Pro
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
MMLU a été publié en 2020 par Dan Hendrycks et ses collègues. Il pose des questions à choix multiples, chacune avec quatre options, sur 57 tâches allant du niveau scolaire au niveau professionnel. Le score d'un modèle est sa précision. Pendant plusieurs années, ce fut le chiffre phare de presque chaque lancement de modèle, parce qu'il donnait un seul nombre pour la culture générale.
Pourquoi il compte moins aujourd'hui
Les benchmarks s'usent. Les auteurs de Humanity's Last Exam notent que les modèles dépassent désormais 90 % sur des benchmarks populaires comme MMLU, ce qui laisse peu de marge pour départager les modèles performants. Les auteurs de MMLU-Pro y ont trouvé des questions triviales et bruitées, et le test est public depuis assez longtemps pour que la contamination des benchmarks soit un vrai problème. Un score MMLU élevé indique surtout, aujourd'hui, qu'un modèle n'est pas faible.
MMLU-Pro
MMLU-Pro, sorti en 2024, est une version plus difficile. Il ajoute des questions axées sur le raisonnement, fait passer le nombre de choix de quatre à dix pour que deviner rapporte moins, et retire les questions triviales et bruitées. Ses auteurs rapportent des baisses de précision de 16 % à 33 % par rapport à MMLU, une moindre sensibilité à la formulation du prompt et de meilleurs résultats avec le raisonnement chain-of-thought, ce qui suggère qu'il teste le raisonnement autant que la mémoire.
L'utiliser
Considérez MMLU et MMLU-Pro comme des contrôles de connaissances générales. Pour les questions scientifiques difficiles, regardez GPQA, et pour le classement global d'un modèle, consultez un classement ou les classements du site.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
- Leaderboard (IA)
- Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.