Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Humanity's Last Exam

Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.

También llamado: HLE, HLE-Rolling

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

HLE se publicó en 2025, después de que pruebas más antiguas como MMLU dejaran de distinguir entre los mejores modelos; sus autores señalan que los modelos superan el 90% en esos benchmarks. Expertos en la materia de todo el mundo escribieron las preguntas, que abarcan matemáticas, humanidades y ciencias naturales. Algunas incluyen imágenes, así que la prueba es multimodal.

Formato

Las preguntas son de opción múltiple o de respuesta corta, para que se puedan corregir automáticamente. Cada una tiene una única respuesta conocida y sin ambigüedad que no se puede encontrar con una búsqueda web rápida. Los autores la describen como el benchmark académico cerrado definitivo de su tipo. Junto a las preguntas públicas, mantienen un conjunto privado reservado para comprobar si los modelos se han sobreajustado a las públicas.

Actualizaciones

El conjunto de datos se cerró en 2,500 preguntas en abril de 2025, y el artículo se publicó en Nature en enero de 2026. El equipo también mantiene HLE-Rolling, una bifurcación dinámica que se actualiza con el tiempo. Algunas evaluaciones de modelos, como el Artificial Analysis Intelligence Index, usan un subconjunto.

Qué muestra y qué no

Una puntuación alta en HLE significa que un modelo responde bien a preguntas difíciles de expertos, a menudo con ayuda del cómputo en tiempo de prueba. No demuestra que un modelo pueda hacer investigación abierta o tareas largas, que es lo que intentan cubrir los benchmarks de agentes. También se publica la calibración, es decir, si un modelo sabe cuándo es probable que se equivoque, y a menudo es mala. Consulta GPQA para una prueba más pequeña solo de ciencias.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
MMLU
MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
Modelo de razonamiento
Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.

Fuentes