에이전트 메모리는 흔히 순수한 이점으로 소개됩니다. 에이전트가 배운 것을 적어 두고 다음에 더 잘한다는 것입니다. KAIST와 DeepAuto.ai의 프리프린트는 그 반대편을 숫자로 보여 줍니다. 메모리 없이는 안정적으로 풀던 과제를 메모리가 있을 때 실패한 경우를 조사했더니, 그 실패의 52%가 에이전트가 따른 저장된 교훈, 대개는 틀린 교훈에서 비롯되었습니다.
원인은 단순합니다. 과거 실행에는 성공 또는 실패라는 라벨만 붙기 때문에, 교훈을 쓰는 쪽은 수많은 행동 중 무엇이 결과를 좌우했는지 추측해야 합니다. WikiTrace는 증거를 남겨 둡니다. 각 교훈은 짧은 통찰로 저장되고, 그 실행이 왜 성공하거나 실패했는지에 대한 진단으로, 다시 원본 실행 궤적으로 연결됩니다. 에이전트는 과제를 시작할 때 모든 통찰을 읽고, 어떤 통찰에 세부 정보가 부족하거나 다른 통찰과 충돌하거나 실패한 실행에서 나온 경우에는 행동하기 전에 일반 터미널 도구로 링크를 따라갑니다.
가정과 과학 텍스트 세계부터 AppWorld, 소매 고객 응대 테스트까지 5개 벤치마크의 8개 스위트에서 시험한 결과, WikiTrace는 모든 스위트에서 가장 좋은 성적을 냈습니다. 메모리 없는 에이전트보다 평균 10.7포인트, 같은 통찰을 링크 없이 받은 버전보다 3.2포인트 높았습니다. 원래 풀던 과제를 메모리가 망치는 비율은 6.5%에서 4.5%로 줄었습니다. 테스트 시 과제당 비용은 통찰만 쓸 때의 1.17배였습니다. 두 번째 기반 모델인 GLM-5.3-flash에서도 세 스위트에서 같은 양상이 나타났습니다.
Mem0, Letta, claude-mem으로 에이전트를 운영하는 사람에게는 방법만큼이나 측정 방식이 유용합니다. 저자들은 결과를 메모리가 고친 과제인 이득과 메모리가 망친 과제인 퇴보로 나눕니다. 평균으로는 후자가 가려지기 때문입니다. 수치를 보면 기존 메모리 방식은 메모리 없이 에이 전트를 다시 실행하는 것과 비슷하거나 더 높은 비율로 과제를 망칩니다.
주의할 점은 저자들 스스로 밝힙니다. 링크로 교훈을 확인할 수는 있지만 옳다는 것이 증명되지는 않으며, 성공 또는 실패 라벨에서 끌어낸 진단도 여전히 틀릴 수 있습니다. 모든 통찰이 첫 메시지에 들어가므로 메모리가 커질수록 프롬프트도 길어지고, 한 번에 올리기 어려운 큰 저장소에서 필요한 교훈을 찾는 문제는 해결되지 않았습니다. 성능 저하의 원인은 에이전트의 추론을 읽은 LLM 판정기가 분류했습니다. 아직 동료 심사를 거치지 않은 프리프린트입니다.