Golden dataset
Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
También llamado: ground truth, test set, golden set, eval set
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
No puedes saber si un cambio de prompt o de modelo ha mejorado las cosas sin algo con lo que medir. Un golden dataset es esa vara de medir: una lista de entradas reales, cada una con una salida esperada o una regla sobre cómo es una buena salida. Cada ejecución de evaluación puntúa el sistema con la misma lista.
Qué incluye
Los buenos conjuntos de referencia salen del uso real: peticiones típicas, los casos difíciles que has visto fallar y casos límite como una entrada vacía, el idioma equivocado o un intento de inyección de prompt. La guía de evaluación de Anthropic lo dice claramente: no olvides los casos límite. Cada elemento necesita una respuesta revisada por un experto en la materia. Cuando hay una única respuesta correcta, el código puede corregirla con una coincidencia exacta frente a la respuesta de referencia. Para las salidas abiertas, escribe una rúbrica y corrige con LLM-as-a-judge o con una persona.
Ground truth y conjunto de prueba
El ground truth es la etiqueta correcta de un elemento; el golden dataset es la colección. Conjunto de prueba (test set) es el término general del aprendizaje automático para los datos reservados que solo se usan para medir, nunca para entrenar. Mantén tu conjunto de referencia fuera de los prompts, de los ejemplos few-shot y de los datos de fine-tuning, o las puntuaciones subirán sin una mejora real, el mismo problema que la contaminación de benchmarks.
Mantenerlo útil
Versiona el conjunto junto a tu código, añade cada fallo nuevo que encuentres en producción y revisa las etiquetas cuando cambie tu producto. Los datos sintéticos pueden cubrir huecos, pero haz que una persona los revise. Después, el conjunto alimenta las pruebas de regresión de LLM y la evaluación de LLM en general.
Términos relacionados
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Pruebas de regresión (aplicaciones con LLM)
- Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
- Datos sintéticos
- Los datos sintéticos (synthetic data) son datos de entrenamiento o de prueba generados por software, a menudo por otro modelo de IA, en lugar de recogidos de fuentes del mundo real. Se usan para cubrir huecos, añadir ejemplos a bajo coste o evitar exponer datos personales reales.