Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Contaminação de benchmark

Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.

Também chamado: data contamination, test-set leakage

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Grandes modelos são treinados com enormes coletas da web, e os benchmarks vivem na web: em artigos, repositórios do GitHub, posts de fóruns e textos de blogs. Itens de teste podem acabar nos dados de treinamento sem que ninguém tenha essa intenção. Um modelo que memorizou respostas pode então pontuar bem sem ter a habilidade que o benchmark deveria medir.

Por que isso importa

Sainz et al. descrevem o pior caso como um modelo treinado com a parte de teste de um benchmark e depois avaliado nesse mesmo benchmark. Eles argumentam que a extensão do problema é desconhecida porque ele é difícil de medir, e que a contaminação leva a um desempenho superestimado e, na pesquisa, a conclusões erradas. Para quem constrói, isso significa que a pontuação de destaque em um benchmark de IA pode não se repetir nas suas próprias tarefas.

Sinais e verificações

Os sinais de alerta incluem um modelo reproduzir uma questão de teste palavra por palavra a partir de um prompt parcial, pontuações muito mais altas em um benchmark antigo do que em um mais novo de dificuldade parecida, e uma queda forte quando as questões são levemente reformuladas. Laboratórios e pesquisadores procuram texto sobreposto nos dados de treinamento, comparam resultados em itens publicados antes e depois do knowledge cutoff de um modelo e mantêm conjuntos de teste privados e reservados.

Como os benchmarks reagem

Benchmarks mais novos escondem parte do conjunto de teste, renovam as questões com o tempo ou tiram tarefas de material criado depois dos modelos testados. Leaderboards baseados em preferência humana usam prompts novos de usuários, o que evita conjuntos de teste fixos, mas traz outros vieses.

A defesa prática é a de sempre: rode sua própria avaliação de LLM com dados que o modelo não pode ter visto.

Termos relacionados

Benchmark de IA
Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
Dados de treinamento de IA
Dados de treinamento de IA são o conjunto de exemplos com que um modelo aprende, como texto da web, código, imagens, transcrições ou pares rotulados. Seu tamanho, qualidade, composição e licenciamento definem o que o modelo consegue fazer e onde ele falha.
Knowledge cutoff
O knowledge cutoff (data de corte do conhecimento) é a data depois da qual um modelo tem pouca ou nenhuma informação, porque seus dados de treinamento foram coletados até mais ou menos esse ponto. Eventos posteriores são desconhecidos, a menos que sejam fornecidos no prompt.
Leaderboard (IA)
Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.

Fontes