Elo-Wertung (Modell-Arenen)
Eine Elo-Wertung (Elo Rating) ist in Modell-Arenen ein Wert, der aus vielen direkten Abstimmungen zwischen Modellpaaren berechnet wird, sodass der Abstand zwischen zwei Werten vorhersagt, wie oft die Antwort des einen Modells der des anderen vorgezogen wird.
Auch: arena score, Bradley-Terry, Elo score, Bradley-Terry model
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Das Elo-System wurde entwickelt, um Schachspieler anhand von Partieergebnissen zu ordnen. Modell-Arenen haben es übernommen, weil ihre Daten gleich aussehen: Zwei Modelle beantworten einen Prompt, eine Person wählt die bessere Antwort, und das Ergebnis zählt als Sieg, Niederlage oder Unentschieden.
So funktioniert es
Jedes Modell bekommt eine Zahl. Schlägt ein hoch bewertetes Modell ein niedrig bewertetes, bewegen sich beide Werte ein wenig; eine Überraschung bewegt sie stärker. Über Tausende Abstimmungen pendeln sich die Zahlen so ein, dass der Unterschied zwischen zwei Werten einer erwarteten Siegquote entspricht.
Elo und Bradley-Terry
Klassisches Elo aktualisiert Werte Partie für Partie, die Reihenfolge der Partien beeinflusst also das Ergebnis. Das passt zu Spielern, deren Können sich mit der Zeit ändert, aber eine Modellversion ändert sich nicht. Das Chatbot-Arena-Paper erklärt, dass das Leaderboard von Elo-Werten auf Bradley-Terry-Koeffizienten umgestellt wurde, ein statistisches Modell für Paarvergleiche, das auf alle Abstimmungen gleichzeitig angepasst wird, weil sie sich besser für statistische Schätzungen eignen. Das Paper beschreibt die Wahrscheinlichkeit, dass ein Modell ein anderes schlägt, als logistische Funktion des Abstands zwischen ihren Koeffizienten und gibt für jeden Wert Konfidenzintervalle an. Leaderboards wie LMArena nennen das Ergebnis weiterhin Arena-Score oder Elo-artige Wertung.
Wie du sie liest
Die absolute Zahl bedeutet für sich nichts; nur Abstände zählen, und nur innerhalb desselben Leaderboards. Schau auf das Konfidenzintervall: Zwei Modelle, deren Intervalle sich überlappen, sind nicht verlässlich gereiht. Wertungen hängen auch davon ab, wer abstimmt und was gefragt wird, ein Arena-Score spiegelt also allgemeine Chat-Vorlieben, nicht die Leistung bei deiner Aufgabe. Kombiniere ihn mit einem aufgabenspezifischen KI-Benchmark und deiner eigenen menschlichen Bewertung.
Verwandte Begriffe
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
- LMArena
- LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
- Menschliche Bewertung
- Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.