Golden dataset
Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
Aussi appelé : ground truth, test set, golden set, eval set
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Vous ne pouvez pas savoir si un changement de prompt ou de modèle a amélioré les choses sans un point de comparaison. Un golden dataset est cet étalon : une liste d'entrées réelles, chacune accompagnée d'une sortie attendue ou d'une règle décrivant une bonne sortie. Chaque évaluation note le système sur la même liste.
Ce qu'il contient
Les bons jeux de référence viennent de l'usage réel : des demandes typiques, les cas difficiles que vous avez vus échouer et des cas limites comme une entrée vide, une mauvaise langue ou une tentative d'injection de prompt. Le guide d'évaluation d'Anthropic le dit simplement : n'oubliez pas les cas limites. Chaque élément nécessite une réponse vérifiée par un expert du domaine. Quand il existe une seule bonne réponse, du code peut noter par correspondance exacte avec la réponse de référence. Pour une sortie ouverte, rédigez une grille et notez avec un LLM-as-a-judge ou une personne.
Vérité terrain et jeu de test
La vérité terrain (ground truth) est l'étiquette correcte d'un élément ; le golden dataset est la collection. Jeu de test (test set) est le terme général en apprentissage automatique pour des données mises de côté, utilisées uniquement pour mesurer et jamais pour entraîner. Tenez votre jeu de référence à l'écart des prompts, des exemples few-shot et des données de fine-tuning, sinon les scores monteront sans réelle amélioration, le même problème que la contamination des benchmarks.
Le garder utile
Versionnez le jeu avec votre code, ajoutez-y chaque nouvel échec constaté en production et revoyez les étiquettes quand votre produit change. Les données synthétiques peuvent combler des lacunes, mais faites-les vérifier par une personne. Le jeu alimente ensuite les tests de régression de LLM et l'évaluation de LLM au sens large.
Termes liés
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Tests de régression (applications LLM)
- Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.
- LLM-as-a-judge
- Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
- Contamination des benchmarks
- Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
- Données synthétiques
- Les données synthétiques (synthetic data) sont des données d'entraînement ou de test générées par un logiciel, souvent par un autre modèle d'IA, plutôt que collectées à partir de sources réelles. Elles servent à combler des lacunes, à ajouter des exemples à moindre coût ou à éviter d'exposer de vraies données personnelles.