Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

AIME (Benchmark)

AIME, die American Invitational Mathematics Examination, ist ein US-Mathematikwettbewerb mit 15 Aufgaben und ganzzahligen Antworten von 0 bis 999; KI-Labore nutzen seine früheren Aufgabensätze, etwa AIME 2025, als Benchmark für mathematisches Denken.

Auch: AIME 2025, AIME 2024, American Invitational Mathematics Examination

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Der Name hat zwei Bedeutungen. Erstens ist AIME eine echte Prüfung, die die Mathematical Association of America für Schüler ausrichtet, die beim AMC 10 oder AMC 12 gut abschneiden. Sie hat 15 Aufgaben, für die insgesamt drei Stunden Zeit sind, und liegt auf dem Weg zur USA Mathematical Olympiad.

AIME als KI-Benchmark

Zweitens meint „AIME 2025“ in Modellankündigungen das Ergebnis eines Modells bei den Aufgaben dieses Jahres. AIME eignet sich für KI-Tests, weil die Aufgaben mehrere Denkschritte erfordern, jede Antwort aber eine einzelne ganze Zahl von 0 bis 999 ist, sodass die Bewertung automatisch und exakt erfolgt. Evaluierungen wie der Artificial Analysis Intelligence Index haben AIME 2025 mit einem Prüfer auf mathematische Gleichheit genutzt.

Die Ergebnisse lesen

AIME-Ergebnisse wurden ein gängiger Weg, Reasoning-Modelle vorzuzeigen, die zusätzliche Test-Time Compute aufwenden, um eine Aufgabe vor der Antwort durchzuarbeiten. Da eine einzelne Prüfung nur 15 Aufgaben hat, verschiebt eine Aufgabe das Ergebnis stark, kleine Unterschiede zwischen Modellen bedeuten also wenig. Frühere Aufgabensätze sind online veröffentlicht, ältere Jahrgänge können also in Trainingsdaten gelangt sein, ein Risiko, das als Benchmark-Kontamination bekannt ist. Deshalb nennen Berichte meist das Jahr, und der neueste Jahrgang ist der vertrauenswürdigste.

Grenzen

AIME testet Wettbewerbsmathematik mit kurzen Antworten. Über Beweise, angewandte Mathematik in Code oder die klare Erklärung einer Lösung sagt es wenig. Nutze es als ein Signal unter mehreren Benchmarks.

Verwandte Begriffe

KI-Benchmark
Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Benchmark-Kontamination
Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
Test-Time Compute
Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.
Chain-of-Thought
Chain-of-Thought (CoT, Gedankenkette) ist eine Prompting-Methode, bei der ein Sprachmodell vor seiner endgültigen Antwort Zwischenschritte seines Denkens ausschreibt, was Ergebnisse bei Mathematik, Logik und anderen mehrstufigen Aufgaben meist verbessert.

Quellen