Golden dataset
Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
Também chamado: ground truth, test set, golden set, eval set
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Não dá para saber se uma mudança de prompt ou de modelo melhorou as coisas sem algo com que comparar. Um golden dataset é essa régua: uma lista de entradas reais, cada uma com uma saída esperada ou uma regra sobre como é uma boa saída. Cada rodada de avaliação pontua o sistema contra a mesma lista.
O que entra nele
Bons golden datasets vêm do uso real: pedidos típicos, os casos difíceis que você já viu falhar e casos-limite como entrada vazia, idioma errado ou uma tentativa de injeção de prompt. O guia de avaliação da Anthropic diz isso de forma direta: não se esqueça dos casos-limite. Cada item precisa de uma resposta verificada por um especialista no domínio. Quando há uma única resposta certa, o código pode corrigi-la por correspondência exata com a resposta de referência. Para saídas abertas, escreva uma rubrica e corrija com LLM-as-a-judge ou com uma pessoa.
Ground truth e conjunto de teste
Ground truth (verdade de referência) é o rótulo correto de um item; o golden dataset é a coleção. Conjunto de teste é o termo geral de machine learning para dados reservados, usados só para medir, nunca para treinar. Mantenha o seu golden dataset fora de prompts, exemplos few-shot e dados de fine-tuning, ou as pontuações vão subir sem melhoria real, o mesmo problema da contaminação de benchmark.
Mantendo-o útil
Versione o conjunto junto com o seu código, acrescente cada nova falha que encontrar em produção e revise os rótulos quando o produto mudar. Dados sintéticos podem preencher lacunas, mas peça que uma pessoa os confira. O conjunto então alimenta os testes de regressão de LLM e a avaliação de LLM mais ampla.
Termos relacionados
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Testes de regressão (apps de LLM)
- Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juiz) é um método de avaliaç ão em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
- Contaminação de benchmark
- Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
- Dados sintéticos
- Dados sintéticos (synthetic data) são dados de treinamento ou de teste gerados por software, muitas vezes por outro modelo de IA, em vez de coletados de fontes do mundo real. São usados para preencher lacunas, adicionar exemplos a baixo custo ou evitar expor dados pessoais reais.