Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

GPQA

GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.

También llamado: Graduate-Level Google-Proof Q&A, GPQA Diamond

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

David Rein y sus colegas publicaron GPQA en 2023. Las preguntas las escribieron y revisaron personas con un doctorado en cada campo o en vías de obtenerlo. Para demostrar que las preguntas son difíciles, los autores se las dieron a validadores competentes de otros campos, que podían buscar en la web libremente.

Las cifras

Los expertos en la materia alcanzaron un 65% de aciertos, o un 74% descontando los errores que detectaron después. Los no expertos solo llegaron al 34%, pese a dedicar de media más de 30 minutos por pregunta con acceso completo a la web. Eso es lo que significa "Google-proof": no puedes buscar la respuesta. La mejor referencia con GPT-4 del artículo obtuvo un 39%.

GPQA Diamond

El artículo publica tres conjuntos: uno ampliado de 546 preguntas, el principal de 448 y un conjunto Diamond de 198. Diamond solo conserva las preguntas en las que los dos validadores expertos estuvieron de acuerdo con la respuesta y como mucho uno de tres no expertos acertó. Diamond es la versión que publican la mayoría de los fabricantes de modelos.

Por qué se creó

Los autores querían una prueba para la supervisión escalable: cómo pueden las personas comprobar las respuestas de una IA en ámbitos en los que la IA puede saber más que ellas. Para quien construye, GPQA es una señal de razonamiento científico difícil, que a menudo se publica junto a MMLU y Humanity's Last Exam. Es tipo test y pequeño, así que unas pocas preguntas mueven la puntuación, y es público, así que la contaminación de benchmarks es posible. Compáralo entre modelos en los rankings en lugar de leer una sola puntuación aislada.

Términos relacionados

Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
MMLU
MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
Humanity's Last Exam
Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
Modelo de razonamiento
Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
Contaminación de benchmarks
La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.

Fuentes