Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Golden dataset

Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.

Também chamado: ground truth, test set, golden set, eval set

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Não dá para saber se uma mudança de prompt ou de modelo melhorou as coisas sem algo com que comparar. Um golden dataset é essa régua: uma lista de entradas reais, cada uma com uma saída esperada ou uma regra sobre como é uma boa saída. Cada rodada de avaliação pontua o sistema contra a mesma lista.

O que entra nele

Bons golden datasets vêm do uso real: pedidos típicos, os casos difíceis que você já viu falhar e casos-limite como entrada vazia, idioma errado ou uma tentativa de injeção de prompt. O guia de avaliação da Anthropic diz isso de forma direta: não se esqueça dos casos-limite. Cada item precisa de uma resposta verificada por um especialista no domínio. Quando há uma única resposta certa, o código pode corrigi-la por correspondência exata com a resposta de referência. Para saídas abertas, escreva uma rubrica e corrija com LLM-as-a-judge ou com uma pessoa.

Ground truth e conjunto de teste

Ground truth (verdade de referência) é o rótulo correto de um item; o golden dataset é a coleção. Conjunto de teste é o termo geral de machine learning para dados reservados, usados só para medir, nunca para treinar. Mantenha o seu golden dataset fora de prompts, exemplos few-shot e dados de fine-tuning, ou as pontuações vão subir sem melhoria real, o mesmo problema da contaminação de benchmark.

Mantendo-o útil

Versione o conjunto junto com o seu código, acrescente cada nova falha que encontrar em produção e revise os rótulos quando o produto mudar. Dados sintéticos podem preencher lacunas, mas peça que uma pessoa os confira. O conjunto então alimenta os testes de regressão de LLM e a avaliação de LLM mais ampla.

Termos relacionados

Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Testes de regressão (apps de LLM)
Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.
LLM-as-a-judge
LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
Contaminação de benchmark
Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
Dados sintéticos
Dados sintéticos (synthetic data) são dados de treinamento ou de teste gerados por software, muitas vezes por outro modelo de IA, em vez de coletados de fontes do mundo real. São usados para preencher lacunas, adicionar exemplos a baixo custo ou evitar expor dados pessoais reais.

Fontes