最新のAIに、長い文書の中に埋もれた事実を探させれば、たいていは見つけます。しかし、その事実が文書の中で何度か書き換えられた後、「今はどうなっているか」を言わせると、途端に取りこぼし始めます。これがAi2の新しいベンチマークStateBenchが測るために作られた差であり、長いログや契約書、値が次々と上書きされるコードベースをエージェントに渡す人にとって重要です。
StateBenchは問題を四つの難易度に分けます。最も易しい、Ai2がr-trivialと呼ぶものは、一度設定されて変わらない値で、生年月日のようなものです。非周期的な問題は値を再代入するので、モデルは最新の値を見つける必要があります。可解な問題は現在の値の上に積み上げるもので、加算していく得点のようなものです。最も難しいgeneral finiteは、ある変数が別の変数の値を取ったり、二つが入れ替わったりするもので、手品のカップとボールのように、物が最終的にどこに行くかを追う問題です。同じ中身の問題が複数の形式で出されます。Ai2は、課題をプレーンテキストではなく表計算の編集として提示すると、小さなモデルがほぼ完璧からほぼ当てずっぽうまで振れることがあると分かったからです。
フロンティアモデルの結果が目玉です。Gemini 3.8 Flash、Claude Opus 5.5、そしてOpenAIのGPT-6モデルは、いずれも当サイトでレビューしていますが、単純な上書きはよくこなす一方、最も長い入れ替え型の問題では13%以下に落ちます。Ai2の説明は感度です。最も難しい水準では、は るかに多くの手順が最終的な答えに効くため、一つでも更新を取りこぼせば全体が誤りになります。事実を取り出すことと、その現在の状態を追うことは、同じ技能ではありません。
より興味深いのは、その理由です。トランスフォーマーは状態変化の長い連鎖に理論的な限界が知られている一方、Gated DeltaNetのような再帰型の設計は動く記憶を持ち越します。Ai2が2億7500万パラメータの小さなモデルをこの課題で直接学習させると、ハイブリッドと再帰型のモデルは学習データの250倍の長さの入力にも一般化しましたが、トランスフォーマーは直接学習しても最も難しい水準を決して学べませんでした。ハイブリッドでは、弱さはアーキテクチャではなく学習データに由来しており、そこがモデル開発者の注視すべき点です。
限界も押さえておく価値があります。StateBenchは固定された数の対象を前提にしますが、実際の会話は進むにつれて新しい人や物が登場するため、まだその場合を扱えていません。この研究は公開データとコードを伴う技術報告であって査読を経た結果ではなく、実務上の教訓は単純です。エージェントが、値が存在したことを思い出すだけでなく現在の値を知る必要があるなら、信頼する前に、変化する事実で試すことです。