Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Leaderboard (KI)

Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.

Auch: arena, LLM leaderboard, model leaderboard

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Leaderboards machen aus Benchmark-Ergebnissen eine Tabelle. Manche ordnen Modelle nach einem einzelnen KI-Benchmark, etwa einem Coding- oder Embedding-Test. Manche fassen viele Benchmarks zu einem Index zusammen, wie der Artificial Analysis Index. Andere, sogenannte Arenen, ordnen Modelle danach, wie oft Menschen ihre Antworten in blinden Direktvergleichen bevorzugen.

Arenen

Die bekannteste ist Chatbot Arena (siehe LMArena). Nutzer chatten mit zwei anonymen Modellen und stimmen für die bessere Antwort. Das Paper dazu erklärt, dass sie paarweise Vergleiche und per Crowdsourcing gesammelte Stimmen nutzt und zu einem der meistzitierten LLM-Leaderboards geworden war. Die Stimmen werden mit einer Elo-artigen Wertung in Werte umgerechnet. Arenen erfassen, was Menschen in offenen Chats mögen, was feste Tests verfehlen, aber sie belohnen auch Stil, Länge und Formatierung.

Wie du eines liest

Prüf, was gemessen wird und wer die Tests durchgeführt hat: die Betreiber des Leaderboards oder die Modellhersteller mit ihren eigenen Zahlen. Schau auf Konfidenzintervalle; Modelle, die wenige Punkte auseinanderliegen, sind statistisch oft gleichauf. Prüf das Datum, denn Ranglisten ändern sich schnell. Sei vorsichtig bei Benchmark-Kontamination und bei Modellen, die auf das Format eines Leaderboards abgestimmt sind.

Unsere eigenen Rankings sammeln öffentliche Ergebnisse pro Aufgabe. Betrachte jedes Leaderboard als erste Vorauswahl und teste dann die besten paar Modelle mit deinen eigenen Daten.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Elo-Wertung (Modell-Arenen)
Eine Elo-Wertung (Elo Rating) ist in Modell-Arenen ein Wert, der aus vielen direkten Abstimmungen zwischen Modellpaaren berechnet wird, sodass der Abstand zwischen zwei Werten vorhersagt, wie oft die Antwort des einen Modells der des anderen vorgezogen wird.
LMArena
LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
Artificial Analysis Intelligence Index
Der Artificial Analysis Intelligence Index ist ein zusammengesetzter Wert des Benchmarking-Unternehmens Artificial Analysis, der mehrere Evaluierungen aus Wissensarbeit, Coding, Wissenschaft und Allgemeinwissen zu einer Zahl bündelt, um Sprachmodelle zu vergleichen.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.

Quellen