Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Évaluation humaine

L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.

Aussi appelé : human raters, blind test, human grading, pairwise preference

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Beaucoup de qualités importantes, comme le fait qu'une réponse soit utile, bien écrite ou appropriée, sont difficiles à noter avec du code. L'évaluation humaine pose la question à des personnes. C'est la référence à laquelle on compare les méthodes moins coûteuses.

Formats courants

Dans la notation absolue, un évaluateur note une sortie sur une échelle ou selon une grille. Dans la préférence par paires, un évaluateur voit deux sorties pour le même prompt et choisit la meilleure ; c'est plus facile à faire de façon cohérente. La revue par des experts fait appel à des spécialistes du domaine, comme des médecins ou des juristes, quand des évaluateurs généralistes ne peuvent pas juger de l'exactitude. Un test à l'aveugle cache quel modèle a écrit quelle réponse, pour que la marque ou les attentes n'influencent pas le vote.

Où on la rencontre

LMArena recueille des votes par paires auprès du public et en tire un leaderboard ; ses auteurs indiquent que les votes du public concordent bien avec ceux d'évaluateurs experts. L'entraînement des modèles utilise aussi les préférences humaines, via le RLHF. Dans votre propre application, un petit ensemble d'exemples notés par des humains est le meilleur moyen de vérifier qu'un évaluateur LLM-as-a-judge est d'accord avec les personnes avant de vous y fier.

Limites

Le guide d'évaluation d'Anthropic présente la notation humaine comme la méthode la plus souple et de la plus haute qualité, mais lente et coûteuse. Les évaluateurs sont en désaccord, se fatiguent et dérivent : rédigez donc des consignes claires, mesurez l'accord entre évaluateurs et intégrez des éléments dont la réponse est connue, issus d'un golden dataset. La préférence n'est pas non plus l'exactitude : une réponse assurée et bien présentée peut gagner un vote tout en étant fausse.

Termes liés

Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
LMArena
LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.
LLM-as-a-judge
Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Golden dataset
Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.

Sources