MMLU
MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
También llamado: Massive Multitask Language Understanding, MMLU-Pro
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
MMLU lo publicaron en 2020 Dan Hendrycks y sus colaboradores. Plantea preguntas de opción múltiple, cada una con cuatro opciones, en 57 tareas con niveles que van del colegio al ámbito profesional. La puntuación de un modelo es su precisión. Durante varios años fue la cifra principal en casi todos los lanzamientos de modelos, porque daba un solo número para el conocimiento general.
Por qué importa menos ahora
Los benchmarks se desgastan. Los autores de Humanity's Last Exam señalan que los modelos ya superan el 90% en benchmarks populares como MMLU, lo que deja poco margen para distinguir entre modelos fuertes. Los autores de MMLU-Pro encontraron en él preguntas triviales y con ruido, y la prueba lleva tanto tiempo publicada que la contaminación de benchmarks es una preocupación real. Hoy, una puntuación alta en MMLU dice sobre todo que un modelo no es débil.
MMLU-Pro
MMLU-Pro, de 2024, es una versión más difícil. Añade preguntas centradas en el razonamiento, amplía las opciones de cuatro a diez para que adivinar compense menos y elimina las preguntas triviales y con ruido. Sus autores indican caídas de precisión del 16% al 33% frente a MMLU, menos sensibilidad a la redacción del prompt y mejores resultados con razonamiento chain-of-thought, lo que sugiere que mide tanto el razonamiento como la memoria.
Cómo usarlo
Trata MMLU y MMLU-Pro como pruebas de conocimiento general. Para preguntas científicas difíciles mira GPQA, y para ver cómo se sitúa un modelo en conjunto consulta un leaderboard o las clasificaciones del sitio.
Términos relacionados
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
- Leaderboard (IA)
- Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.