Pídele a una IA moderna que encuentre un dato enterrado en un documento largo y normalmente podrá. Pídele que diga cuál es ese dato ahora, después de que el documento lo haya cambiado varias veces, y empieza a fallar. Esa es la brecha que mide StateBench, el nuevo banco de pruebas de Ai2, y le importa a quien alimenta a un agente con un registro largo, un contrato o una base de código donde los valores se sobrescriben sin parar.
StateBench ordena el problema en cuatro niveles de dificultad. El más fácil, que Ai2 llama r-trivial, es un valor que se fija una vez y no cambia, como una fecha de nacimiento. Los problemas aperiódicos reasignan un valor, así que el modelo debe encontrar el más reciente. Los problemas solubles se construyen sobre el valor actual, como sumar a un marcador que corre. El más difícil, general finito, deja que una variable tome el valor de otra o que dos se intercambien, que es el problema de las copas y la bola del mago: seguir dónde acaban las cosas. El mismo caso de fondo se plantea en varios formatos, porque Ai2 descubrió que presentar una tarea como una edición de hoja de cálculo en lugar de texto plano podía llevar a un modelo pequeño de casi perfecto a casi azar.
Los resultados de los modelos de frontera son el titular. Gemini 3.8 Flash, Claude Opus 5.5 y los modelos GPT-6 de OpenAI, todos los cuales reseñamos, manejan bien las sobrescrituras simples pero caen al 13% o menos en los problemas de intercambio más largos. La explicación de Ai2 es la sensibilidad: en el nivel más difícil, muchos más pasos alimentan la respuesta final, así que una sola actualización perdida basta para equivocarlo todo. Recuperar un dato y seguir su estado actual no son la misma habilidad.
El hallazgo más interesante es el porqué. Los transformadores tienen límites teóricos conocidos en cadenas largas de cambios de estado, mientras que los diseños recurrentes como Gated DeltaNet arrastran una memoria en marcha. Cuando Ai2 entrenó modelos pequeños de 275 millones de parámetros directamente en la tarea, los modelos híbridos y recurrentes generalizaron a entradas 250 veces más largas que sus datos de entrenamiento, mientras que los transformadores nunca aprendieron el nivel más difícil ni con entrenamiento directo. En los híbridos, la debilidad venía de los datos de entrenamiento y no de la arquitectura, que es la parte que deberían vigilar los constructores de modelos.
Conviene tener presentes los límites. StateBench supone un conjunto fijo de entidades, mientras que las conversaciones reales introducen nuevas personas y objetos sobre la marcha, así que todavía no cubre ese caso. El trabajo es un informe técnico con datos y código públicos, no un resultado revisado por pares, y la lección práctica es sencilla: si tu agente debe conocer el valor actual, no solo recordar que un valor existió, pruébalo con datos que cambian antes de confiar en él.