Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Benchmark d'IA

Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.

Aussi appelé : benchmark, LLM benchmark, eval suite

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Les benchmarks donnent au domaine un étalon commun. Quand un laboratoire affirme qu'un nouveau modèle est meilleur en code, cela signifie en général un score plus élevé sur un benchmark comme SWE-bench. Les modèles d'embedding sont comparés sur MTEB. Les scores sont réunis dans des leaderboards et dans nos propres classements.

Comment lire un score de benchmark

Demandez-vous en quoi consiste réellement la tâche. Un examen à choix multiples, un ensemble de vrais tickets GitHub et un vote du public mesurent des choses très différentes. Demandez-vous comment la notation est faite : réponse exacte, tests unitaires réussis ou modèle jouant le rôle de juge. Vérifiez le protocole : combien de tentatives étaient autorisées (voir pass@k), quels outils et quels prompts ont été utilisés, et si le laboratoire a fait passer le test lui-même ou si un groupe indépendant s'en est chargé. De petits écarts entre modèles restent souvent dans le bruit du test.

Pourquoi les scores trompent

Un benchmark n'est utile que tant que les modèles n'ont pas vu ses réponses. Si des éléments du test fuient dans les données d'entraînement, les scores montent sans amélioration réelle ; c'est la contamination des benchmarks. Les benchmarks populaires saturent aussi : dès que les meilleurs modèles frôlent tous le plafond, le test ne les départage plus, et le domaine passe à un test plus difficile. Enfin, un modèle peut être réglé pour le format d'un benchmark sans progresser dans la compétence sous-jacente.

Le projet HELM a fait valoir qu'un seul chiffre de précision cache trop de choses, et a mesuré les modèles sur de nombreux scénarios et plusieurs métriques, dont la calibration et la robustesse.

Benchmarks ou vos propres évaluations

Servez-vous des benchmarks publics pour établir une liste restreinte. Lancez ensuite une évaluation de LLM sur vos propres tâches et données, car c'est le seul test qui vous dit comment un modèle se comportera pour vos utilisateurs.

Termes liés

Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
SWE-bench
SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
MTEB
MTEB, le Massive Text Embedding Benchmark, est un benchmark public accompagné d'un classement qui note les modèles d'embedding de texte sur de nombreux types de tâches, comme la recherche, le clustering, la classification et le reranking, à travers de nombreux jeux de données et langues.
Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
pass@k
pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.

Sources