요즘 AI에게 긴 문서 속에 묻힌 사실을 찾으라고 하면 대개 찾아냅니다. 그런데 그 사실이 문서 안에서 여러 번 바뀐 뒤 '지금은 무엇인지' 말하라고 하면 흘리기 시작합니다. 이것이 Ai2의 새 벤치마크 StateBench가 재려고 만든 간극이며, 긴 로그나 계약서, 값이 계속 덮어쓰이는 코드베이스를 에이전트에 넘기는 사람에게 중요합니다.
StateBench는 문제를 네 가지 난이도로 나눕니다. 가장 쉬운 것은 Ai2가 r-trivial이라 부르는 것으로, 한 번 정해지면 바뀌지 않는 값, 생년월일 같은 것입니다. 비주기적 문제는 값을 다시 할당하므로 모델이 가장 최근 값을 찾아야 합니다. 가해 문제는 현재 값 위에 쌓아 올리는 것으로, 누적되는 점수에 더하는 것과 같습니다. 가장 어려운 general finite는 한 변수가 다른 변수의 값을 가져가거나 둘이 자리를 바꾸게 하는 것으로, 마술사의 컵과 공처럼 물건이 결국 어디에 있는지를 추적하는 문제입니다. 같은 속내의 문제가 여러 형식으로 제시됩니다. Ai2는 과제를 일반 텍스트가 아니라 스프레드시트 편집으로 제시하면 작은 모델이 거의 완벽에서 거의 찍기 수준으로 흔들릴 수 있음을 발견했기 때문입니다.
프런티어 모델의 결과가 핵심입니다. Gemini 3.8 Flash, Claude Opus 5.5, 그리고 OpenAI의 GPT-6 모델은 모두 저희가 리뷰하는데, 단순한 덮어쓰기는 잘 처리하지만 가장 긴 교환형 문제에서는 13% 이하로 떨어집니다. Ai2의 설명은 민감도입니다. 가장 어려운 수준에서는 훨씬 많은 단계가 최종 답에 영향을 주므로, 한 번의 업데이트만 놓쳐도 전체가 틀리게 됩니다. 사실을 꺼내는 것과 그 현재 상태를 추적하는 것은 같은 능력이 아닙니다.
더 흥미로운 발견은 그 이유입니다. 트랜스포머는 상태 변화의 긴 사슬에 대해 알려진 이론적 한계가 있는 반면, Gated DeltaNet 같은 순환형 설계는 작동 중인 기억을 이어 나릅니다. Ai2가 2억 7500만 파라미터의 작은 모델을 이 과제로 직접 학습시키자, 하이브리드와 순환형 모델은 학습 데이터보다 250배 긴 입력에도 일반화했지만, 트랜스포머는 직접 학습해도 가장 어려운 수준을 끝내 배우지 못했습니다. 하이브리드에서는 약점이 아키텍처가 아니라 학습 데이터에서 비롯되었고, 그 점이 모델 제작자가 지켜봐야 할 부분입니다.
한계도 염두에 둘 만합니다. StateBench는 고정된 수의 대상을 전제하지만, 실제 대화는 진행되면서 새로운 사람과 사물이 등장하므로 아직 그 경우를 다루지 못합니다. 이 연구는 공개 데이터와 코드를 갖춘 기술 보고서이지 동료 심사를 거친 결과가 아니며, 실용적인 교훈은 단순합니다. 에이전트가 값이 존재했다는 것만 기억하는 게 아니라 현재 값을 알아야 한다면, 믿기 전에 변하는 사실로 시험해 보십시오.