Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Artificial Analysis Intelligence Index

Der Artificial Analysis Intelligence Index ist ein zusammengesetzter Wert des Benchmarking-Unternehmens Artificial Analysis, der mehrere Evaluierungen aus Wissensarbeit, Coding, Wissenschaft und Allgemeinwissen zu einer Zahl bündelt, um Sprachmodelle zu vergleichen.

Auch: Artificial Analysis, AA Intelligence Index

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Jeder Modellhersteller wählt die Benchmarks, die ihm schmeicheln. Artificial Analysis führt denselben Satz an Evaluierungen selbst für viele Modelle durch und fasst die Ergebnisse zu einem Index zusammen, damit sich Modelle auf gemeinsamer Grundlage vergleichen lassen. Viele Modellseiten auf dieser Website zitieren ihn; siehe Modelle und Rankings.

Was darin steckt

Version 5.0.1 des Index kombiniert neun Evaluierungen, darunter Terminal-Bench 4.0, HLE-Diamond (eine Teilmenge von Humanity's Last Exam) und mehrere eigene Tests des Unternehmens zu agentischer Wissensarbeit. Der Wert ist ein gewichteter Durchschnitt aus vier Kategorien, Knowledge Work, Coding, Science und General, die jeweils 25% zählen. Mehrere Aufgaben lassen das Modell als Agenten mit Tools in einer Sandbox laufen.

Wie du ihn liest

Der Index ist vor allem eine textbasierte, englischsprachige Testreihe. Visuelles Denken, Sprache und mehrsprachige Leistung misst Artificial Analysis getrennt. Das Unternehmen sagt selbst, dass er wie jede Kennzahl Grenzen hat und nicht auf jeden Anwendungsfall passt.

Der Satz an Evaluierungen ändert sich zwischen Versionen, ein Wert aus einer Version lässt sich also nicht mit einem aus einer anderen vergleichen. Wenn du eine Indexzahl in einem Launch-Beitrag oder auf einem Leaderboard siehst, prüf die Version. Ein einzelner Gesamtwert verbirgt auch Abwägungen: Zwei Modelle mit demselben Wert können in verschiedenen Dingen stark sein, schau dir also die Kategoriewerte für die Arbeit an, die dir wichtig ist, und führe deine eigene LLM-Evaluierung durch, bevor du dich festlegst.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Leaderboard (KI)
Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
Terminal-Bench
Terminal-Bench ist ein Benchmark für KI-Agenten, die in einem Kommandozeilen-Terminal arbeiten. Jede Aufgabe gibt dem Agenten eine echte Umgebung und wird durch Tests bewertet, die prüfen, ob die Arbeit tatsächlich erledigt wurde.
Humanity's Last Exam
Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.
LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.

Quellen