Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

MMLU

MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.

También llamado: Massive Multitask Language Understanding, MMLU-Pro

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

MMLU lo publicaron en 2020 Dan Hendrycks y sus colaboradores. Plantea preguntas de opción múltiple, cada una con cuatro opciones, en 57 tareas con niveles que van del colegio al ámbito profesional. La puntuación de un modelo es su precisión. Durante varios años fue la cifra principal en casi todos los lanzamientos de modelos, porque daba un solo número para el conocimiento general.

Por qué importa menos ahora

Los benchmarks se desgastan. Los autores de Humanity's Last Exam señalan que los modelos ya superan el 90% en benchmarks populares como MMLU, lo que deja poco margen para distinguir entre modelos fuertes. Los autores de MMLU-Pro encontraron en él preguntas triviales y con ruido, y la prueba lleva tanto tiempo publicada que la contaminación de benchmarks es una preocupación real. Hoy, una puntuación alta en MMLU dice sobre todo que un modelo no es débil.

MMLU-Pro

MMLU-Pro, de 2024, es una versión más difícil. Añade preguntas centradas en el razonamiento, amplía las opciones de cuatro a diez para que adivinar compense menos y elimina las preguntas triviales y con ruido. Sus autores indican caídas de precisión del 16% al 33% frente a MMLU, menos sensibilidad a la redacción del prompt y mejores resultados con razonamiento chain-of-thought, lo que sugiere que mide tanto el razonamiento como la memoria.

Cómo usarlo

Trata MMLU y MMLU-Pro como pruebas de conocimiento general. Para preguntas científicas difíciles mira GPQA, y para ver cómo se sitúa un modelo en conjunto consulta un leaderboard o las clasificaciones del sitio.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
Humanity's Last Exam
Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
Leaderboard (IA)
Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.

Fuentes