Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Classement Elo (arènes de modèles)

Dans les arènes de modèles, un classement Elo est un score calculé à partir de nombreux votes en face-à-face entre paires de modèles, de sorte que l'écart entre deux scores prédit à quelle fréquence la réponse d'un modèle sera préférée à celle de l'autre.

Aussi appelé : arena score, Bradley-Terry, Elo score, Bradley-Terry model

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Le système Elo a été conçu pour classer les joueurs d'échecs d'après les résultats de leurs parties. Les arènes de modèles l'ont emprunté parce que leurs données se présentent de la même façon : deux modèles répondent à un même prompt, une personne choisit la meilleure réponse, et le résultat compte comme une victoire, une défaite ou une égalité.

Comment ça marche

Chaque modèle reçoit un nombre. Si un modèle bien classé bat un modèle moins bien classé, les deux scores bougent un peu ; une surprise les fait bouger davantage. Au fil de milliers de votes, les nombres se stabilisent de sorte que l'écart entre deux scores corresponde à un taux de victoire attendu.

Elo ou Bradley-Terry

L'Elo classique met les scores à jour partie après partie, si bien que l'ordre des parties influe sur le résultat. Cela convient à des joueurs dont le niveau évolue avec le temps, mais une version de modèle ne change pas. L'article sur Chatbot Arena explique que le classement est passé des scores Elo aux coefficients de Bradley-Terry, un modèle statistique de comparaisons par paires ajusté sur tous les votes à la fois, parce qu'ils se prêtent mieux à l'estimation statistique. L'article décrit la probabilité qu'un modèle en batte un autre comme une fonction logistique de l'écart entre leurs coefficients, et indique des intervalles de confiance pour chaque score. Des leaderboards comme LMArena appellent toujours le résultat un score d'arène ou un classement de type Elo.

Comment le lire

Le nombre absolu ne signifie rien en soi ; seuls les écarts comptent, et seulement au sein d'un même classement. Regardez l'intervalle de confiance : deux modèles dont les intervalles se chevauchent ne sont pas classés de façon fiable. Les classements dépendent aussi de qui vote et de ce qui est demandé : un score d'arène reflète donc une préférence générale en conversation, pas la performance sur votre tâche. Associez-le à un benchmark d'IA propre à la tâche et à votre propre évaluation humaine.

Termes liés

Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
LMArena
LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.
Évaluation humaine
L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.
Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.

Sources