Évaluation humaine
L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.
Aussi appelé : human raters, blind test, human grading, pairwise preference
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Beaucoup de qualités importantes, comme le fait qu'une réponse soit utile, bien écrite ou appropriée, sont difficiles à noter avec du code. L'évaluation humaine pose la question à des personnes. C'est la référence à laquelle on compare les méthodes moins coûteuses.
Formats courants
Dans la notation absolue, un évaluateur note une sortie sur une échelle ou selon une grille. Dans la préférence par paires, un évaluateur voit deux sorties pour le même prompt et choisit la meilleure ; c'est plus facile à faire de façon cohérente. La revue par des experts fait appel à des spécialistes du domaine, comme des médecins ou des juristes, quand des évaluateurs généralistes ne peuvent pas juger de l'exactitude. Un test à l'aveugle cache quel modèle a écrit quelle réponse, pour que la marque ou les attentes n'influencent pas le vote.
Où on la rencontre
LMArena recueille des votes par paires auprès du public et en tire un leaderboard ; ses auteurs indiquent que les votes du public concordent bien avec ceux d'évaluateurs experts. L'entraînement des modèles utilise aussi les préférences humaines, via le RLHF. Dans votre propre application, un petit ensemble d'exemples notés par des humains est le meilleur moyen de vérifier qu'un évaluateur LLM-as-a-judge est d'accord avec les personnes avant de vous y fier.
Limites
Le guide d'évaluation d'Anthropic présente la notation humaine comme la méthode la plus souple et de la plus haute qualité, mais lente et coûteuse. Les évaluateurs sont en désaccord, se fatiguent et dérivent : rédigez donc des consignes claires, mesurez l'accord entre évaluateurs et intégrez des éléments dont la réponse est connue, issus d'un golden dataset. La préférence n'est pas non plus l'exactitude : une réponse assurée et bien présentée peut gagner un vote tout en étant fausse.
Termes liés
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- LMArena
- LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.
- LLM-as-a-judge
- Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
- RLHF
- Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
- Golden dataset
- Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.