Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Contamination des benchmarks

Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.

Aussi appelé : data contamination, test-set leakage

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les grands modèles sont entraînés sur d'immenses collectes du web, et les benchmarks vivent sur le web : dans des articles, des dépôts GitHub, des messages de forum et des billets de blog. Des éléments de test peuvent se retrouver dans les données d'entraînement sans que personne ne l'ait voulu. Un modèle qui a mémorisé les réponses peut alors obtenir un bon score sans posséder la compétence que le benchmark est censé mesurer.

Pourquoi c'est important

Sainz et al. décrivent le pire cas comme un modèle entraîné sur la partie test d'un benchmark puis évalué sur ce même benchmark. Ils estiment que l'ampleur du problème est inconnue parce qu'elle est difficile à mesurer, et que la contamination conduit à surestimer les performances et, en recherche, à des conclusions erronées. Pour vous qui construisez, cela signifie qu'un score phare sur un benchmark d'IA peut ne pas se transposer à vos propres tâches.

Signes et vérifications

Parmi les signaux d'alerte : un modèle qui reproduit mot pour mot une question de test à partir d'un prompt partiel, des scores bien plus élevés sur un ancien benchmark que sur un plus récent de difficulté comparable, et une chute nette quand les questions sont légèrement reformulées. Les laboratoires et les chercheurs cherchent les recoupements de texte dans les données d'entraînement, comparent les résultats sur des éléments publiés avant et après la date limite des connaissances d'un modèle, et conservent des jeux de test privés mis de côté.

Comment les benchmarks réagissent

Les benchmarks plus récents cachent une partie de leur jeu de test, renouvellent les questions au fil du temps ou tirent leurs tâches de contenus créés après les modèles testés. Les leaderboards fondés sur les préférences humaines utilisent de nouveaux prompts fournis par les utilisateurs, ce qui évite les jeux de test fixes mais introduit d'autres biais.

La défense pratique reste la même : lancez votre propre évaluation de LLM sur des données que le modèle n'a pas pu voir.

Termes liés

Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
Données d'entraînement de l'IA
Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
Date limite des connaissances
La date limite des connaissances (knowledge cutoff) est la date après laquelle un modèle ne dispose que de peu ou pas d'informations, parce que ses données d'entraînement ont été collectées jusqu'à cette période environ. Les événements postérieurs lui sont inconnus, sauf s'ils sont fournis dans le prompt.
Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.

Sources