Humanity's Last Exam
O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
Também chamado: HLE, HLE-Rolling
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
O HLE foi lançado em 2025, depois que testes mais antigos como o MMLU deixaram de separar os melhores modelos; seus autores observam que os modelos passam de 90% nesses benchmarks. Especialistas de várias áreas do mundo todo escreveram as questões, que abrangem matemática, humanidades e ciências naturais. Algumas incluem imagens, então o teste é multimodal.
Formato
As questões são de múltipla escolha ou de resposta curta, para que possam ser corrigidas automaticamente. Cada uma tem uma única resposta conhecida e sem ambiguidade, que não pode ser encontrada com uma busca rápida na web. Os autores o descrevem como destinado a ser o último benchmark acadêmico de respostas fechadas do seu tipo. Além das questões públicas, eles mantêm um conjunto privado reservado para verificar se os modelos se sobreajustaram às públicas.
Atualizações
O conjunto de dados foi fechado em 2.500 questões em abril de 2025, e o artigo foi publicado na Nature em janeiro de 2026. A equipe também mantém o HLE-Rolling, um fork dinâmico atualizado ao longo do tempo. Algumas avaliações de modelos, incluindo o Artificial Analysis Intelligence Index, usam um subconjunto.
O que ele mostra e o que não mostra
Uma pontuação alta no HLE significa que um modelo responde bem a questões difíceis de especialistas, muitas vezes com a ajuda de test-time compute. Ela não mostra que um modelo consegue fazer pesquisa aberta ou tarefas longas, que os benchmarks de agentes tentam cobrir. A calibração, ou seja, se um modelo sabe quando provavelmente está errado, também é informada e muitas vezes é ruim. Veja o GPQA para um teste menor, só de ciências.
Termos relacionados
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- GPQA
- O GPQA (Graduate-Level Google-Proof Q&A) é um benchmark de 448 questões difíceis de múltipla escolha em biologia, física e química, escritas por especialistas para que não especialistas qualificados não consigam respondê-las nem com busca ilimitada na web.
- MMLU
- O MMLU (Massive Multitask Language Understanding) é um benchmark de múltipla escolha que cobre 57 matérias, de matemática elementar e história dos EUA a direito e ciência da computação, e testa o conhecimento amplo e a resolução de problemas de um modelo de linguagem.
- Modelo de raciocínio
- Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.
- Contaminação de benchmark
- Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.