LLM-as-a-judge
Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
Aussi appelé : judge model, LLM judge, model-graded eval
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Beaucoup de sorties d'IA ne peuvent pas être vérifiées par correspondance exacte : un résumé, une réponse de support, un conseil. La relecture humaine est la référence, mais elle est lente et coûteuse. Un modèle juge peut noter rapidement des milliers de sorties, ce qui en fait un évaluateur courant dans l'évaluation de LLM.
Comment ça marche
Vous donnez au juge l'entrée, la sortie à noter et des instructions. Les formats courants sont une note unique selon une grille (par exemple, la réponse est-elle fidèle à la source, de 1 à 5), un verdict réussite ou échec sur une règle précise, ou un choix entre deux réponses. Demander au juge d'expliquer son raisonnement avant de donner une note rend ses décisions plus faciles à auditer.
Zheng et al. ont nommé et étudié la méthode à l'aide de MT-Bench et de Chatbot Arena. Ils ont constaté que des juges performants comme GPT-4 atteignaient plus de 80 % d'accord avec les préférences humaines, à peu près le niveau d'accord des humains entre eux.
Biais connus
Le même article a documenté des problèmes à prendre en compte dans votre conception. Le biais de position : préférer la réponse qui vient en premier. Le biais de verbosité : préférer les réponses plus longues. Le biais d'autopromotion : préférer les réponses écrites par la famille de modèles du juge. Les juges peinent aussi à noter des mathématiques et des raisonnements qu'ils ne savent pas faire eux-mêmes. Les remèdes courants consistent à inverser l'ordre des réponses et à faire la moyenne, à fournir au juge des réponses de référence et à prendre comme juge un modèle d'une autre famille.
Gardez des humains dans la boucle
Comparez un échantillon des notes du juge à une évaluation humaine avant de vous y fier, et recommencez quand vous changez de modèle juge ou de prompt. Un golden dataset étiqueté par des humains rend cette calibration reproductible. Des frameworks comme DeepEval et promptfoo fournissent des métriques de juge prêtes à l'emploi.
Termes liés
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Évaluation humaine
- L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.
- Golden dataset
- Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
- LMArena
- LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.