Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Évaluation de LLM

L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.

Aussi appelé : evals, LLM evals, model evaluation

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Modifier un prompt, changer de modèle ou ajouter une étape de récupération peut améliorer une application sur une entrée et la dégrader sur d'autres. Les evals sont le moyen de le découvrir avant les utilisateurs. La documentation d'Anthropic le résume simplement : définissez d'abord les critères de réussite, puis concevez des évaluations pour mesurer par rapport à eux.

Comment ça marche

Une eval comporte trois parties. Un jeu de données d'entrées, idéalement tiré de l'usage réel et incluant des cas limites, souvent conservé sous forme de golden dataset avec des réponses de référence. Un moyen d'exécuter le système sur chaque entrée. Et un évaluateur. Les évaluateurs vont de la correspondance exacte et des vérifications par code (le JSON s'analyse-t-il, le test passe-t-il) aux scores de similarité, à la relecture humaine et au LLM-as-a-judge, où un second modèle note la réponse selon une grille. Le guide d'Anthropic conseille de structurer les questions pour que la notation puisse être automatisée, et de privilégier davantage de cas de test plutôt que moins de cas notés à la main.

Evals de modèles ou evals d'applications

Les benchmarks d'IA publics évaluent les modèles sur des tâches communes, ce qui vous aide à établir une liste restreinte. Les evals d'applications utilisent vos propres données, prompts et outils, ce qui vous dit si le système fonctionne pour vos utilisateurs. Le projet HELM a plaidé pour mesurer les modèles sur de nombreuses métriques à la fois, comme la précision, la calibration et la robustesse, plutôt que sur la seule précision ; la même idée s'applique à vos propres evals.

En pratique

Les équipes lancent des evals en CI à chaque changement de prompt ou de modèle, une pratique appelée tests de régression de LLM, et ajoutent comme nouveaux cas les échecs trouvés dans les traces de production. Parmi les frameworks open source figurent promptfoo, DeepEval et Ragas. Le guide de l'étape d'évaluation compare les outils. Les evals de sûreté, dont les entrées sont des attaques, sont généralement appelées red teaming.

Termes liés

LLM-as-a-judge
Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
Red teaming de l'IA
Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.
Golden dataset
Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
Tests de régression (applications LLM)
Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.

Sources