Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
Aussi appelé : evals, LLM evals, model evaluation
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Modifier un prompt, changer de modèle ou ajouter une étape de récupération peut améliorer une application sur une entrée et la dégrader sur d'autres. Les evals sont le moyen de le découvrir avant les utilisateurs. La documentation d'Anthropic le résume simplement : définissez d'abord les critères de réussite, puis concevez des évaluations pour mesurer par rapport à eux.
Comment ça marche
Une eval comporte trois parties. Un jeu de données d'entrées, idéalement tiré de l'usage réel et incluant des cas limites, souvent conservé sous forme de golden dataset avec des réponses de référence. Un moyen d'exécuter le système sur chaque entrée. Et un évaluateur. Les évaluateurs vont de la correspondance exacte et des vérifications par code (le JSON s'analyse-t-il, le test passe-t-il) aux scores de similarité, à la relecture humaine et au LLM-as-a-judge, où un second modèle note la réponse selon une grille. Le guide d'Anthropic conseille de structurer les questions pour que la notation puisse être automatisée, et de privilégier davantage de cas de test plutôt que moins de cas notés à la main.
Evals de modèles ou evals d'applications
Les benchmarks d'IA publics évaluent les modèles sur des tâches communes, ce qui vous aide à établir une liste restreinte. Les evals d'applications utilisent vos propres données, prompts et outils, ce qui vous dit si le système fonctionne pour vos utilisateurs. Le projet HELM a plaidé pour mesurer les modèles sur de nombreuses métriques à la fois, comme la précision, la calibration et la robustesse, plutôt que sur la seule précision ; la même idée s'applique à vos propres evals.
En pratique
Les équipes lancent des evals en CI à chaque changement de prompt ou de modèle, une pratique appelée tests de régression de LLM, et ajoutent comme nouveaux cas les échecs trouvés dans les traces de production. Parmi les frameworks open source figurent promptfoo, DeepEval et Ragas. Le guide de l'étape d'évaluation compare les outils. Les evals de sûreté, dont les entrées sont des attaques, sont généralement appelées red teaming.
Termes liés
- LLM-as-a-judge
- Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
- Red teaming de l'IA
- Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.
- Golden dataset
- Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
- Tests de régression (applications LLM)
- Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.