Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

GPQA

O GPQA (Graduate-Level Google-Proof Q&A) é um benchmark de 448 questões difíceis de múltipla escolha em biologia, física e química, escritas por especialistas para que não especialistas qualificados não consigam respondê-las nem com busca ilimitada na web.

Também chamado: Graduate-Level Google-Proof Q&A, GPQA Diamond

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O GPQA foi publicado em 2023 por David Rein e colegas. As questões foram escritas e verificadas por pessoas com doutorado, ou cursando doutorado, em cada área. Para provar que as questões são difíceis, os autores as deram a validadores qualificados de outras áreas, que podiam pesquisar livremente na web.

Os números

Os especialistas no domínio chegaram a 65% de acerto, ou 74% depois de descontar erros que perceberam depois. Os não especialistas chegaram a apenas 34%, apesar de gastarem em média mais de 30 minutos por questão com acesso total à web. É isso que "Google-proof" significa: você não consegue procurar a resposta. A linha de base mais forte com o GPT-4 no artigo fez 39%.

GPQA Diamond

O artigo publica três conjuntos: um estendido de 546 questões, o principal de 448 e um Diamond de 198. O Diamond mantém só as questões em que os dois validadores especialistas concordaram com a resposta e no máximo um de três não especialistas acertou. O Diamond é a versão que a maioria dos fabricantes de modelos informa.

Por que foi construído

Os autores queriam um teste para supervisão escalável (scalable oversight): como as pessoas podem verificar respostas de IA em áreas em que a IA talvez saiba mais do que elas. Para quem constrói, o GPQA é um sinal de raciocínio científico difícil, muitas vezes informado junto com o MMLU e o Humanity's Last Exam. Ele é de múltipla escolha e pequeno, então poucas questões mexem na pontuação, e é público, então a contaminação de benchmark é possível. Compare-o entre modelos nos rankings em vez de ler uma pontuação isolada.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
MMLU
O MMLU (Massive Multitask Language Understanding) é um benchmark de múltipla escolha que cobre 57 matérias, de matemática elementar e história dos EUA a direito e ciência da computação, e testa o conhecimento amplo e a resolução de problemas de um modelo de linguagem.
Humanity's Last Exam
O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
Modelo de raciocínio
Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.
Contaminação de benchmark
Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.

Fontes