Demandez à une IA moderne de trouver un fait enfoui dans un long document, et elle y arrive en général. Demandez-lui quel est ce fait maintenant, après que le document l'a changé plusieurs fois, et elle commence à trébucher. C'est l'écart que mesure StateBench, le nouveau banc d'essai d'Ai2, et il compte pour quiconque fournit à un agent un long journal, un contrat ou une base de code où les valeurs sont sans cesse réécrites.
StateBench classe le problème en quatre niveaux de difficulté. Le plus facile, qu'Ai2 appelle r-trivial, est une valeur fixée une fois et qui ne change jamais, comme une date de naissance. Les problèmes apériodiques réaffectent une valeur, si bien que le modèle doit trouver la plus récente. Les problèmes solubles s'appuient sur la valeur courante, comme ajouter à un score qui s'accumule. Le plus difficile, general finite, laisse une variable prendre la valeur d'une autre ou en échanger deux, soit le problème des gobelets et de la balle du magicien : suivre où finissent les choses. Le même cas de fond est posé dans plusieurs formats, car Ai2 a constaté que présenter une tâche comme une modification de tableur plutôt qu'en texte brut pouvait faire passer un petit modèle de presque parfait à presque au hasard.
Les résultats des modèles de pointe sont le titre. Gemini 3.8 Flash, Claude Opus 5.5 et les modèles GPT-6 d'OpenAI, que nous testons tous, gèrent bien les réécritures simples mais tombent à 13% ou moins sur les problèmes d'échange les plus longs. L'explication d'Ai2 est la sensibilité : au niveau le plus difficile, bien plus d'étapes alimentent la réponse finale, si bien qu'une seule mise à jour manquée suffit à tout fausser. Retrouver un fait et suivre son état courant ne sont pas la même compétence.
Le constat le plus intéressant porte sur le pourquoi. Les transformeurs ont des limites théoriques connues sur les longues chaînes de changements d'état, tandis que les architectures récurrentes comme Gated DeltaNet entretiennent une mémoire courante. Quand Ai2 a entraîné de petits modèles de 275 millions de paramètres directement sur la tâche, les modèles hybrides et récurrents ont généralisé à des entrées 250 fois plus longues que leurs données d'entraînement, alors que les transformeurs n'ont jamais appris le niveau le plus difficile, même avec un entraînement direct. Pour les hybrides, la faiblesse venait des données d'entraînement et non de l'architecture, et c'est la partie que les concepteurs de modèles devraient surveiller.
Les limites méritent d'être gardées en tête. StateBench suppose un ensemble fixe d'entités, alors que les vraies conversations introduisent de nouvelles personnes et de nouveaux objets au fil de l'eau, si bien qu'il ne couvre pas encore ce cas. Le travail est un rapport technique avec données et code publics, pas un résultat évalué par des pairs, et la leçon pratique est simple : si votre agent doit connaître la valeur courante, et pas seulement se rappeler qu'une valeur a existé, testez-le sur des faits qui changent avant de lui faire confiance.