エージェントの記憶は、学んだことを書き留めて次はうまくやる、という利点ばかりが語られがちです。KAISTとDeepAuto.aiによるプレプリントは、その裏側を数字で示しました。記憶なしなら確実に解けるのに記憶ありだと失敗するタスクを調べたところ、失敗の52%は、エージェントが従った保存済みの教訓、多くの場合は誤った教訓に原因がありました。
原因は単純です。過去の実行には成功か失敗かのラベルしか付かないため、教訓を書く側は多くの行動のうちどれが効いたのかを推測するしかありません。WikiTraceは証拠を残しておきます。各教訓は短い知見として保存され、その実行がなぜ成功または失敗したかの診断へ、さらに元の実行軌跡へとリンクされます。エージェントはタスクの開始時にすべての知見を読み、ある知見に細部が欠けている、別の知見と矛盾する、あるいは失敗した実行から来ている場合には、行動する前に通常のターミナルツールでリンクをたどります。
家庭や科学のテキスト世界からAppWorld、小売の顧客対応テストまで、5つのベンチマークの8スイートで試したところ、WikiTraceはすべてのスイートで最高の成績でした。記憶なしのエージェントを平均10.7ポイント、同じ知見をリンクなしで与えた版を3.2ポイント上回りました。もともと解けていたタスクを記憶が壊す割合は6.5%から4.5%に下がりました。テスト時の1タスクあたりのコストは知見のみの場合の1.17倍でした。2つ目のベースモデルであるGLM-5.3-flashでも、3つのスイートで同じ傾向 が見られました。
Mem0、Letta、claude-memでエージェントを運用している人にとって、役に立つのは手法と同じくらい測り方です。著者らは結果を、記憶が直したタスクを示す「利得」と、記憶が壊したタスクを示す「後退」に分けています。平均値では後者が見えなくなるからです。数字を見ると、既存の記憶手法は、記憶なしでエージェントを再実行した場合と同程度かそれ以上の割合でタスクを壊しています。
注意点は著者ら自身が挙げています。リンクがあれば教訓を確かめられますが、正しさが証明されるわけではなく、成功か失敗かのラベルから導いた診断が誤っている可能性も残ります。すべての知見は最初のメッセージに入るため、記憶が増えるほどプロンプトも長くなり、一度に読み込めないほど大きな記憶から必要な教訓を探す方法は未解決です。劣化の原因は、エージェントの推論を読んだLLM判定器が分類したものです。査読前のプレプリントです。