GPQA
O GPQA (Graduate-Level Google-Proof Q&A) é um benchmark de 448 questões difíceis de múltipla escolha em biologia, física e química, escritas por especialistas para que não especialistas qualificados não consigam respondê-las nem com busca ilimitada na web.
Também chamado: Graduate-Level Google-Proof Q&A, GPQA Diamond
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
O GPQA foi publicado em 2023 por David Rein e colegas. As questões foram escritas e verificadas por pessoas com doutorado, ou cursando doutorado, em cada área. Para provar que as questões são difíceis, os autores as deram a validadores qualificados de outras áreas, que podiam pesquisar livremente na web.
Os números
Os especialistas no domínio chegaram a 65% de acerto, ou 74% depois de descontar erros que perceberam depois. Os não especialistas chegaram a apenas 34%, apesar de gastarem em média mais de 30 minutos por questão com acesso total à web. É isso que "Google-proof" significa: você não consegue procurar a resposta. A linha de base mais forte com o GPT-4 no artigo fez 39%.
GPQA Diamond
O artigo publica três conjuntos: um estendido de 546 questões, o principal de 448 e um Diamond de 198. O Diamond mantém só as questões em que os dois validadores especialistas concordaram com a resposta e no máximo um de três não especialistas acertou. O Diamond é a versão que a maioria dos fabricantes de modelos informa.
Por que foi construído
Os autores queriam um teste para supervisão escalável (scalable oversight): como as pessoas podem verificar respostas de IA em áreas em que a IA talvez saiba mais do que elas. Para quem constrói, o GPQA é um sinal de raciocínio científico difícil, muitas vezes informado junto com o MMLU e o Humanity's Last Exam. Ele é de múltipla escolha e pequeno, então poucas questões mexem na pontuação, e é público, então a contaminação de benchmark é possível. Compare-o entre modelos nos rankings em vez de ler uma pontuação isolada.
Termos relacionados
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- MMLU
- O MMLU (Massive Multitask Language Understanding) é um benchmark de múltipla escolha que cobre 57 matérias, de matemática elementar e história dos EUA a direito e ciência da computação, e testa o conhecimento amplo e a resolução de problemas de um modelo de linguagem.
- Humanity's Last Exam
- O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
- Modelo de raciocínio
- Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.
- Contaminação de benchmark
- Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.