GPQA
GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
También llamado: Graduate-Level Google-Proof Q&A, GPQA Diamond
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
David Rein y sus colegas publicaron GPQA en 2023. Las preguntas las escribieron y revisaron personas con un doctorado en cada campo o en vías de obtenerlo. Para demostrar que las preguntas son difíciles, los autores se las dieron a validadores competentes de otros campos, que podían buscar en la web libremente.
Las cifras
Los expertos en la materia alcanzaron un 65% de aciertos, o un 74% descontando los errores que detectaron después. Los no expertos solo llegaron al 34%, pese a dedicar de media más de 30 minutos por pregunta con acceso completo a la web. Eso es lo que significa "Google-proof": no puedes buscar la respuesta. La mejor referencia con GPT-4 del artículo obtuvo un 39%.
GPQA Diamond
El artículo publica tres conjuntos: uno ampliado de 546 preguntas, el principal de 448 y un conjunto Diamond de 198. Diamond solo conserva las preguntas en las que los dos validadores expertos estuvieron de acuerdo con la respuesta y como mucho uno de tres no expertos acertó. Diamond es la versión que publican la mayoría de los fabricantes de modelos.
Por qué se creó
Los autores querían una prueba para la supervisión escalable: cómo pueden las personas comprobar las respuestas de una IA en ámbitos en los que la IA puede saber más que ellas. Para quien construye, GPQA es una señal de razonamiento científico difícil, que a menudo se publica junto a MMLU y Humanity's Last Exam. Es tipo test y pequeño, así que unas pocas preguntas mueven la puntuación, y es público, así que la contaminación de benchmarks es posible. Compáralo entre modelos en los rankings en lugar de leer una sola puntuación aislada.
Términos relacionados
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- MMLU
- MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
- Modelo de razonamiento
- Un modelo de razonamiento (reasoning model) es un modelo de lenguaje entrenado para resolver un problema mediante un flujo de tokens de razonamiento intermedios antes de dar su respuesta final, lo que suele ayudar en matemáticas, programación y tareas de varios pasos.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.