AI 에이전트에게 기억을 주는 일은 간단해 보입니다. 메모를 쓰게 하고 다음에 읽게 하면 되니까요. Anthropic의 새 연구 글은 그 것이 왜 간단하지 않은지, 그리고 모델이 발전하면서 답이 어떻게 바뀌었는지를 보여 줍니다. 요약하면, 더 강한 Claude 모델일수록 훨씬 적게 저장하고, 무엇을 저장할지 더 잘 고르며, 무엇을 적으라고 정확히 지시하면 오히려 성적이 떨어집니다.
가장 분명한 예는 포켓몬스터 레드입니다. 게임 시작 후 약 10,000단계 시점에서 Claude Sonnet 3.7은 225개 폴더에 413개의 기억 파일을 썼고, 개별 전투, 아이템, 등장인물마다 따로 파일을 만들었지만 배지는 하나만 얻었습니다. Claude Fable 5는 폴더 두 개에 파일 아홉 개와 최상위 요약 파일 하나만 썼고 배지는 네 개를 얻었습니다. 오래된 모델이 저장한 것 중 상당수, 예를 들어 소지금이나 지도상 위치는 어차피 화면에서 읽을 수 있는 정보였고, 한번은 17단계 동안 게임을 한 수도 두지 않고 파일만 정리하기도 했습니다. Opus 5.5는 작은 메모 묶음을 계속 고쳐 쓰며 게임을 끝까지 깼습니다. Continual Learning Bench 1.0의 데이터베이스 질문 과제에서는 Opus 5가 처음으로 학습 고리를 완성해, 규칙과 함께 그것이 맞다고 아는 근거까지 적었고, Opus 5.5와 Sonnet 5.5도 같은 방식을 보였습니다.
에이전트를 만드는 사람을 위한 지침은 구체적입니다. 강한 모델에게는 기억이 무엇을 위한 것인지만 알려 주고 쓰는 방법은 정하지 않는 것이 가장 효과적이었습니다. "실패만 기록하라" 같은 규칙을 강제하자 Opus 5와 Opus 4.7은 기억에서 얻던 이득의 상당 부분을 잃었습니다. 오래된 모델은 여전히 안내가 필요합니다. Sonnet 4.6에게 기억을 읽고 가설을 검증하라고 지시하자 점수가 거의 두 배가 됐지만, Sonnet 5는 지시가 없어도 10번 중 9번 기억을 읽었습니다.
두 번째 개념은 꿈꾸기, 즉 지난 기록을 오 프라인으로 다시 보며 잘못된 메모를 고치는 것입니다. 한 포켓몬 플레이에서 Claude는 달맞이산(Mt. Moon)의 한 지형지물이 어느 쪽에 있는지 잘못 적어 같은 턱에서 계속 떨어졌습니다. 꿈꾸기 과정에서 메모를 기록과 대조해 고치자 Claude는 동굴로 돌아가 다음 도시에 도착했습니다. 약 350,000개의 내부 파일로 이뤄진 자료에서는 128번의 꿈꾸기 세션으로 링크된 위키를 만들자 25개 질문의 정답률이 13%에서 48%로 올랐고, 위키와 검색을 함께 쓰면 검색만 쓸 때의 53%보다 높은 61%를 기록하면서 질문당 약 20,000 토큰을 아꼈습니다.
Claude Developer Platform 개발자에게 이 내용의 상당 부분은 Managed Agents를 통해 돌아가며 바로 쓸 수 있습니다. 주의할 점은 모든 결과가 Anthropic 자체 과제와 게임에서 나왔고, 일부 비교는 한 번의 실행에 기반한다는 것입니다. 글 자체도 요약하려던 문서보다 더 커져 버린 위키를 보여 주는데, 기억이 많다고 늘 더 좋은 기억은 아니라는 점을 상기시킵니다.