Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
Aussi appelé : data contamination, test-set leakage
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les grands modèles sont entraînés sur d'immenses collectes du web, et les benchmarks vivent sur le web : dans des articles, des dépôts GitHub, des messages de forum et des billets de blog. Des éléments de test peuvent se retrouver dans les données d'entraînement sans que personne ne l'ait voulu. Un modèle qui a mémorisé les réponses peut alors obtenir un bon score sans posséder la compétence que le benchmark est censé mesurer.
Pourquoi c'est important
Sainz et al. décrivent le pire cas comme un modèle entraîné sur la partie test d'un benchmark puis évalué sur ce même benchmark. Ils estiment que l'ampleur du problème est inconnue parce qu'elle est difficile à mesurer, et que la contamination conduit à surestimer les performances et, en recherche, à des conclusions erronées. Pour vous qui construisez, cela signifie qu'un score phare sur un benchmark d'IA peut ne pas se transposer à vos propres tâches.
Signes et vérifications
Parmi les signaux d'alerte : un modèle qui reproduit mot pour mot une question de test à partir d'un prompt partiel, des scores bien plus élevés sur un ancien benchmark que sur un plus récent de difficulté comparable, et une chute nette quand les questions sont légèrement reformulées. Les laboratoires et les chercheurs cherchent les recoupements de texte dans les données d'entraînement, comparent les résultats sur des éléments publiés avant et après la date limite des connaissances d'un modèle, et conservent des jeux de test privés mis de côté.
Comment les benchmarks réagissent
Les benchmarks plus récents cachent une partie de leur jeu de test, renouvellent les questions au fil du temps ou tirent leurs tâches de contenus créés après les modèles testés. Les leaderboards fondés sur les préférences humaines utilisent de nouveaux prompts fournis par les utilisateurs, ce qui évite les jeux de test fixes mais introduit d'autres biais.
La défense pratique reste la même : lancez votre propre évaluation de LLM sur des données que le modèle n'a pas pu voir.
Termes liés
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Données d'entraînement de l'IA
- Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
- Date limite des connaissances
- La date limite des connaissances (knowledge cutoff) est la date après laquelle un modèle ne dispose que de peu ou pas d'informations, parce que ses données d'entraînement ont été collectées jusqu'à cette période environ. Les événements postérieurs lui sont inconnus, sauf s'ils sont fournis dans le prompt.
- Leaderboard (IA)
- Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.