LMArena
LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
Auch: Chatbot Arena, Arena, LMSYS Arena
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
LMArena ist aus Chatbot Arena hervorgegangen, einer offenen Forschungsplattform, die in einem Paper von 2024 beschrieben wurde, und ihre Website nennt sich inzwischen einfach Arena. Die Autoren des Papers bezeichnen sie als eines der meistzitierten Leaderboards für Sprachmodelle.
So funktioniert es
Im Battle-Modus tippt ein Nutzer einen Prompt ein und bekommt Antworten von zwei anonymen Modellen. Der Nutzer stimmt für die bessere ab, und erst dann werden die Modellnamen gezeigt. Weil die Namen verborgen sind, ist es ein Blindtest, und die Marke beeinflusst die Stimme nicht. Die Plattform macht aus vielen solchen paarweisen Stimmen Ratings nach Art des Elo-Systems und veröffentlicht Leaderboards für Text, Coding, Vision, Bild, Video und andere Aufgaben. Das ursprüngliche Paper meldete damals über 240.000 Stimmen und fand, dass die Stimmen der Crowd gut mit denen von Experten übereinstimmten.
Warum es nützlich ist
Arena-Werte spiegeln wider, was echte Nutzer bei echten Prompts bevorzugen, und keinen festen Test, den Modelle auswendig lernen können. Das macht sie zu einer nützlichen Ergänzung statischer Benchmarks wie MMLU. Das Team veröffentlicht außerdem offene Datensätze menschlicher Präferenzen und Forschung zu Methoden wie Style Control.
Grenzen
Präferenz ist nicht Korrektheit. Abstimmende können längere, selbstsichere oder hübsch formatierte Antworten bevorzugen, und die meisten Prompts sind kurze Chats statt langer Aufgaben. Labs können Modelle vor der Veröffentlichung auf der Plattform testen, und Forschung hat untersucht, wie sich Leaderboards manipulieren lassen. Lies einen hohen Arena-Rang als „den Leuten gefielen die Antworten“ und bestätige ihn mit menschlicher Evaluation oder Tests für deinen eigenen Anwendungsfall.
Verwandte Begriffe
- Elo-Wertung (Modell-Arenen)
- Eine Elo-Wertung (Elo Rating) ist in Modell-Arenen ein Wert, der aus vielen direkten Abstimmungen zwischen Modellpaaren berechnet wird, sodass der Abstand zwischen zwei Werten vorhersagt, wie oft die Antwort des einen Modells der des anderen vorgezogen wird.
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
- Menschliche Bewertung
- Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.