Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Também chamado: benchmark, LLM benchmark, eval suite
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Os benchmarks dão à área uma régua comum. Quando um laboratório diz que um novo modelo é melhor em programação, geralmente quer dizer uma pontuação mais alta em um benchmark como o SWE-bench. Modelos de embedding são comparados no MTEB. As pontuações são reunidas em leaderboards e nos nossos próprios rankings.
Como ler a pontuação de um benchmark
Pergunte qual é de fato a tarefa. Uma prova de múltipla escolha, um conjunto de issues reais do GitHub e uma votação do público medem coisas muito diferentes. Pergunte como foi pontuado: resposta exata, testes unitários passando ou um modelo atuando como juiz. Verifique a configuração: quantas tentativas foram permitidas (veja pass@k), quais ferramentas e prompts foram usados, e se o próprio laboratório rodou o teste ou um grupo independente. Pequenas diferenças entre modelos muitas vezes estão dentro do ruído do teste.
Por que as pontuações enganam
Um benchmark só é útil enquanto os modelos não viram suas respostas. Se itens do teste vazam para os dados de treinamento, as pontuações sobem sem melhoria real; isso é contaminação de benchmark. Benchmarks populares também saturam: quando todos os melhores modelos pontuam perto do teto, o teste deixa de separá-los, e a área passa para um mais difícil. E um modelo pode ser ajustado ao formato de um benchmark sem melhorar na habilidade subjacente.
O projeto HELM argumentou que um único número de acurácia esconde demais, e mediu modelos em muitos cenários e várias métricas, incluindo calibração e robustez.
Benchmarks vs suas próprias avaliações
Use benchmarks públicos para montar uma lista curta. Depois rode uma avaliação de LLM nas suas próprias tarefas e dados, porque esse é o único teste que diz como um modelo vai se sair para os seus usuários.
Termos relacionados
- Leaderboard (IA)
- Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
- Contaminação de benchmark
- Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
- SWE-bench
- O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.
- MTEB
- O MTEB, Massive Text Embedding Benchmark, é um benchmark público com leaderboard que avalia modelos de embedding de texto em muitos tipos de tarefa, como recuperação, clustering, classificação e reranking, sobre muitos datasets e idiomas.
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- pass@k
- pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.