LMArena
LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.
Aussi appelé : Chatbot Arena, Arena, LMSYS Arena
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
LMArena est issue de Chatbot Arena, une plateforme de recherche ouverte décrite dans un article de 2024, et son site se présente désormais simplement sous le nom d'Arena. Les auteurs de l'article la décrivent comme l'un des classements de modèles de langage les plus cités.
Comment ça marche
En mode combat, l'utilisateur saisit un prompt et reçoit les réponses de deux modèles anonymes. Il vote pour la meilleure, et ce n'est qu'ensuite que les noms des modèles sont révélés. Masquer les noms en fait un test à l'aveugle, pour que la marque n'influence pas le vote. La plateforme transforme ces nombreux votes par paires en notes de type Elo, et publie des classements pour le texte, le code, la vision, l'image, la vidéo et d'autres tâches. L'article d'origine faisait état de plus de 240 000 votes à l'époque et constatait que les votes du public concordaient bien avec ceux d'évaluateurs experts.
Pourquoi c'est utile
Les scores d'Arena reflètent ce que de vrais utilisateurs préfèrent sur de vrais prompts, et non un test figé que les modèles peuvent mémoriser. Cela en fait un complément utile aux benchmarks statiques comme MMLU. L'équipe publie aussi des jeux de données ouverts de préférences humaines et des travaux sur des méthodes comme le contrôle du style.
Limites
Préférence n'est pas exactitude. Les votants peuvent privilégier les réponses longues, assurées ou bien mises en forme, et la plupart des prompts sont de courtes conversations plutôt que de longues tâches. Les laboratoires peuvent tester des modèles non encore publiés sur la plateforme, et des travaux de recherche ont étudié comment les classements peuvent être manipulés. Lisez un bon rang sur Arena comme « les gens ont aimé ses réponses », et confirmez par une évaluation humaine ou des tests sur votre propre cas d'usage.
Termes liés
- Classement Elo (arènes de modèles)
- Dans les arènes de modèles, un classement Elo est un score calculé à partir de nombreux votes en face-à-face entre paires de modèles, de sorte que l'écart entre deux scores prédit à quelle fréquence la réponse d'un modèle sera préférée à celle de l'autre.
- Leaderboard (IA)
- Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
- Évaluation humaine
- L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Benchmark d'IA
- Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.