Peça a uma IA moderna para achar um fato enterrado em um documento longo e normalmente ela consegue. Peça para dizer qual é esse fato agora, depois de o documento tê-lo mudado várias vezes, e ela começa a escorregar. Essa é a lacuna que o StateBench, o novo benchmark da Ai2, foi feito para medir, e ela importa para quem alimenta um agente com um log longo, um contrato ou uma base de código onde os valores são sobrescritos o tempo todo.
O StateBench organiza o problema em quatro níveis de dificuldade. O mais fácil, que a Ai2 chama de r-trivial, é um valor definido uma vez e que nunca muda, como uma data de nascimento. Os problemas aperiódicos reatribuem um valor, então o modelo precisa achar o mais recente. Os problemas solúveis se apoiam no valor atual, como somar a um placar que acumula. O mais difícil, general finite, deixa uma variável assumir o valor de outra ou duas trocarem de lugar, que é o problema dos copos e da bolinha do mágico: acompanhar onde as coisas param. O mesmo caso de fundo é posto em vários formatos, porque a Ai2 descobriu que apresentar uma tarefa como edição de planilha em vez de texto puro podia levar um modelo pequeno de quase perfeito a quase acaso.
Os resultados dos modelos de ponta são o destaque. Gemini 3.8 Flash, Claude Opus 5.5 e os modelos GPT-6 da OpenAI, que todos analisamos, lidam bem com sobrescritas simples mas caem para 13% ou menos nos problemas de troca mais longos. A explicação da Ai2 é a sensibilidade: no nível mais difícil, muito mais passos alimentam a resposta final, então uma única atualização perdida basta para errar tudo. Recuperar um fato e acompanhar seu estado atual não são a mesma habilidade.
A descoberta mais interessante é o porquê. Os transformers têm limites teóricos conhecidos em cadeias longas de mudanças de estado, enquanto arquiteturas recorrentes como o Gated DeltaNet carregam uma memória corrente. Quando a Ai2 treinou modelos pequenos de 275 milhões de parâmetros diretamente na tarefa, os modelos híbridos e recorrentes generalizaram para entradas 250 vezes mais longas que seus dados de treino, enquanto os transformers nunca aprenderam o nível mais difícil nem com treino direto. Nos híbridos, a fraqueza vinha dos dados de treino e não da arquitetura, e essa é a parte que os construtores de modelos deveriam observar.
Os limites merecem atenção. O StateBench supõe um conjunto fixo de entidades, enquanto conversas reais introduzem novas pessoas e objetos ao longo do caminho, então ele ainda não cobre esse caso. O trabalho é um relatório técnico com dados e código públicos, não um resultado revisado por pares, e a lição prática é simples: se o seu agente precisa saber o valor atual, não apenas lembrar que um valor existiu, teste-o com fatos que mudam antes de confiar nele.