AIエージェントに記憶を持たせるのは簡単そうに見えます。メモを書かせて、次の機会に読ませればよいからです。Anthropicの新しい研究記事は、それがなぜ簡単ではないのか、そしてモデルが進歩するにつれて答えがどう変わってきたのかを示しています。要するに、強いClaudeのモデルほど保存する量ははるかに少なく、何を保存するかの選び方がうまく、何を書くかを細かく指示されると成績が下がるのです。
最もわかりやすい例はポケットモンスター赤です。ゲーム開始から約10,000ステップの時点で、Claude Sonnet 3.7は225のフォルダーに413の記憶ファイルを書いており、個々の戦闘、アイテム、登場人物ごとに別のファイルまでありましたが、獲得したバッジは1つでした。Claude Fable 5が書いたのは2つのフォルダーの9つのファイルと、最上位の概要ファイル1つだけで、バッジは4つ獲得しました。古いモデルが保存した内容の多く、たとえば所持金や地図上の位置はどのみち画面から読み取れるもので、あるときは17ステップのあいだ、ゲームを一手も進めずにファイルの整理をしていました。Opus 5.5は小さなメモを書き直し続けながらゲームをクリアしました。Continual Learning Bench 1.0のデータベースに関する質問タスクでは、Opus 5が初めて学習の循環を完成させ、規則とともに、それが正しいとわかった根拠も書きました。Opus 5.5とSonnet 5.5も同じことをしました。
エージェントを作る人への指針は具体的です。強いモデルには、記憶が何のためにあるかを伝え、使い方は指示しないのが最もうまくいきました。「失敗だけを記録せよ」といった規則を課すと、Opus 5とOpus 4.7は記憶から得ていた改善の多くを失いました。古いモデルには今も誘導が必要です。Sonnet 4.6に記憶を読み、仮説を確かめるよう促すと点数はほぼ倍になりましたが、Sonnet 5は促されなくても10回中9回は記憶を読みました。
2つ目の考え方は「夢を見る」こと、つまり過去の記録をオフラインで見直して誤ったメモを直すことです。あるポケモンのプレイでは、Claudeがおつきみやま(Mt. Moon)の目印がどちら側にあるかを間違えて記録し、同じ段差から何度も落ちていました。夢を見る処理でメモを記録と照らし合わせて直すと、Claudeは洞窟に戻って次の町にたどり着きました。約350,000件の社内ファイルからなる資料では、128回の夢を見るセッションでリンク付きのwikiを作ったところ、25問の正答率が13%から48%に上がり、wikiと検索を併用すると検索だけの53%に対して61%となり、1問あたり約20,000トークンを節約しました。
Claude Developer Platformで開発する人にとって、これらの多くはManaged Agentsを通じて動き、すぐに使えます。注意点として、結果はすべてAnthropic自身のタスクとゲームによるもので、一部の比較は1回の実行に基づいています。記事自体も、要約するはずの文書より大きくなってしまったwikiを紹介しており、記憶は多ければ良いわけではないことを思い出させます。