Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

MMLU

O MMLU (Massive Multitask Language Understanding) é um benchmark de múltipla escolha que cobre 57 matérias, de matemática elementar e história dos EUA a direito e ciência da computação, e testa o conhecimento amplo e a resolução de problemas de um modelo de linguagem.

Também chamado: Massive Multitask Language Understanding, MMLU-Pro

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O MMLU foi publicado em 2020 por Dan Hendrycks e colegas. Ele faz perguntas de múltipla escolha, cada uma com quatro opções, em 57 tarefas de níveis que vão da escola ao profissional. A nota de um modelo é a sua acurácia. Por vários anos, foi o número de destaque em quase todo lançamento de modelo, porque dava um único valor para conhecimento geral.

Por que importa menos hoje

Benchmarks se desgastam. Os autores do Humanity's Last Exam observam que os modelos agora passam de 90% em benchmarks populares como o MMLU, o que deixa pouco espaço para distinguir modelos fortes. Os autores do MMLU-Pro encontraram nele perguntas triviais e com ruído, e o teste está público há tempo suficiente para que a contaminação de benchmark seja uma preocupação real. Uma nota alta no MMLU hoje diz principalmente que o modelo não é fraco.

MMLU-Pro

O MMLU-Pro, de 2024, é uma versão mais difícil. Ele adiciona perguntas focadas em raciocínio, amplia as opções de quatro para dez para que o chute compense menos, e remove perguntas triviais e com ruído. Seus autores relatam quedas de acurácia de 16% a 33% em relação ao MMLU, menos sensibilidade à redação do prompt e melhores resultados com raciocínio chain-of-thought, o que sugere que ele testa raciocínio além de memória.

Como usar

Trate o MMLU e o MMLU-Pro como verificações de conhecimento amplo. Para perguntas difíceis de ciências, veja o GPQA, e para saber como um modelo se posiciona no geral, veja um leaderboard ou os rankings do site.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
GPQA
O GPQA (Graduate-Level Google-Proof Q&A) é um benchmark de 448 questões difíceis de múltipla escolha em biologia, física e química, escritas por especialistas para que não especialistas qualificados não consigam respondê-las nem com busca ilimitada na web.
Humanity's Last Exam
O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
Contaminação de benchmark
Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
Leaderboard (IA)
Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.

Fontes