Humanity's Last Exam
Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
También llamado: HLE, HLE-Rolling
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
HLE se publicó en 2025, después de que pruebas más antiguas como MMLU dejaran de distinguir entre los mejores modelos; sus autores señalan que los modelos superan el 90% en esos benchmarks. Expertos en la materia de todo el mundo escribieron las preguntas, que abarcan matemáticas, humanidades y ciencias naturales. Algunas incluyen imágenes, así que la prueba es multimodal.
Formato
Las preguntas son de opción múltiple o de respuesta corta, para que se puedan corregir automáticamente. Cada una tiene una única respuesta conocida y sin ambigüedad que no se puede encontrar con una búsqueda web rápida. Los autores la describen como el benchmark académico cerrado definitivo de su tipo. Junto a las preguntas públicas, mantienen un conjunto privado reservado para comprobar si los modelos se han sobreajustado a las públicas.
Actualizaciones
El conjunto de datos se cerró en 2,500 preguntas en abril de 2025, y el artículo se publicó en Nature en enero de 2026. El equipo también mantiene HLE-Rolling, una bifurcación dinámica que se actualiza con el tiempo. Algunas evaluaciones de modelos, como el Artificial Analysis Intelligence Index, usan un subconjunto.
Qué muestra y qué no
Una puntuación alta en HLE significa que un modelo responde bien a preguntas difíciles de expertos, a menudo con ayuda del cómputo en tiempo de prueba. No demuestra que un modelo pueda hacer investigación abierta o tareas largas, que es lo que intentan cubrir los benchmarks de agentes. También se publica la calibración, es decir, si un modelo sabe cuándo es probable que se equivoque, y a menudo es mala. Consulta GPQA para una prueba más pequeña solo de ciencias.
Términos relacionados
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
- MMLU
- MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
- Modelo de razonamiento
- Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.