Bitte eine moderne KI, einen in einem langen Dokument vergrabenen Fakt zu finden, und meist gelingt es. Bitte sie zu sagen, wie dieser Fakt jetzt lautet, nachdem das Dokument ihn mehrfach geändert hat, und sie beginnt zu patzen. Genau diese Lücke misst Ai2s neuer Benchmark StateBench, und sie ist wichtig für jeden, der einem Agenten ein langes Log, einen Vertrag oder eine Codebasis gibt, in der Werte ständig überschrieben werden.
StateBench ordnet das Problem in vier Schwierigkeitsstufen. Die leichteste, die Ai2 r-trivial nennt, ist ein Wert, der einmal gesetzt wird und sich nie ändert, wie ein Geburtsdatum. Aperiodische Probleme weisen einen Wert neu zu, sodass das Modell den jüngsten finden muss. Lösbare Probleme bauen auf dem aktuellen Wert auf, wie das Addieren zu einem laufenden Punktestand. Das schwerste, general finite, lässt eine Variable den Wert einer anderen annehmen oder zwei tauschen, also das Becher-und-Ball-Problem des Zauberers, bei dem man verfolgt, wo die Dinge landen. Derselbe Grundfall wird in mehreren Formaten gestellt, denn Ai2 stellte fest, dass die Darstellung einer Aufgabe als Tabellenkalkulations-Änderung statt als reiner Text ein kleines Modell von nahezu perfekt auf nahezu Zufall bringen konnte.
Die Ergebnisse der Spitzenmodelle sind die Schlagzeile. Gemini 3.8 Flash, Claude Opus 5.5 und OpenAIs GPT-6-Modelle, die wir alle rezensieren, bewältigen einfache Überschreibungen gut, fallen aber bei den längsten Tausch-Problemen auf 13% oder darunter. Ai2s Erklärung ist die Empfindlichkeit: Auf der schwersten Stufe fließen viel mehr Schritte in die Endantwort ein, sodass eine einzige verpasste Aktualisierung reicht, um das Ganze falsch zu machen. Einen Fakt abzurufen und seinen aktuellen Zustand zu verfolgen, sind nicht dieselbe Fähigkeit.
Der interessantere Befund betrifft das Warum. Transformer haben bekannte theoretische Grenzen bei langen Ketten von Zustandsänderungen, während rekurrente Entwürfe wie Gated DeltaNet einen laufenden Speicher mitführen. Als Ai2 kleine Modelle mit 275 Millionen Parametern direkt auf die Aufgabe trainierte, verallgemeinerten die hybriden und rekurrenten Modelle auf Eingaben, die 250-mal länger waren als ihre Trainingsdaten, während die Transformer die schwerste Stufe selbst mit direktem Training nie lernten. Bei den Hybriden lag die Schwäche an den Trainingsdaten und nicht an der Architektur, und das ist der Teil, den Modellbauer beachten sollten.
Die Grenzen sollte man im Blick behalten. StateBench nimmt eine feste Menge von Entitäten an, während echte Gespräche laufend neue Personen und Objekte einführen, diesen Fall deckt es also noch nicht ab. Die Arbeit ist ein technischer Bericht mit öffentlichen Daten und Code, kein begutachtetes Ergebnis, und die praktische Lehre ist einfach: Wenn dein Agent den aktuellen Wert kennen muss und nicht nur erinnern soll, dass ein Wert existierte, teste ihn an sich ändernden Fakten, bevor du ihm traust.