Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

ARC-AGI

ARC-AGI ist eine Reihe von Benchmarks, begonnen von François Chollet und betrieben von ARC Prize, die prüft, ob ein KI-System neue, ungesehene Denkrätsel lösen kann, und dabei misst, wie effizient es lernt, statt was es weiß.

Auch: Abstraction and Reasoning Corpus, ARC-AGI-2, ARC-AGI-3, ARC Prize

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die meisten Benchmarks testen das Können bei einer Aufgabe. Chollets Paper On the Measure of Intelligence von 2019 argumentierte, dass Können allein ein schlechtes Maß ist, weil unbegrenzte Trainingsdaten es Entwicklern erlauben, Können ohne echte Generalisierung zu kaufen. Er schlug vor, Intelligenz als Effizienz beim Erwerb von Fähigkeiten zu definieren, und veröffentlichte das Abstraction and Reasoning Corpus (ARC), um sie zu testen.

Wie es aufgebaut ist

ARC-Aufgaben stützen sich nur auf grundlegendes Vorwissen (Core Knowledge Priors): kognitive Bausteine, die Menschen von Geburt an haben oder sehr früh erwerben. Sie vermeiden kulturelles oder Fachwissen, damit sich Menschen und KI fair vergleichen lassen. Laut ARC Prize zielt der Benchmark auf fluide Intelligenz, die Fähigkeit, zu schlussfolgern und sich an neue Probleme anzupassen, statt auf kristalline Intelligenz aus angesammeltem Wissen. Jede Aufgabe ist neu, daher hilft das Auswendiglernen der Trainingsdaten wenig.

Die Reihe

Der ursprüngliche Satz heißt heute ARC-AGI-1. ARC Prize hat seitdem ARC-AGI-2 und ARC-AGI-3 veröffentlicht und richtet jährliche Wettbewerbe aus, jeweils mit öffentlichem Leaderboard. Aktuelle Ergebnisse findest du auf der Website von ARC Prize, da sie sich mit jeder Version ändern.

Warum es wichtig ist

ARC-AGI ist darauf ausgelegt, Auswendiglernen zu widerstehen, was es zu einem gängigen Bezugspunkt für Reasoning-Modelle und Test-Time Compute macht. Seine Definition von AGI, die Lerneffizienz von Menschen zu erreichen, ist eine Sichtweise unter mehreren. Ein hohes Ergebnis zeigt Anpassungsfähigkeit bei diesen Rätseln, keine allgemeine Kompetenz, lies es also zusammen mit anderen Benchmarks.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Test-Time Compute
Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.
Leaderboard (KI)
Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.

Quellen