Agenten-Gedächtnis wird meist als reiner Gewinn verkauft: Der Agent notiert, was er gelernt hat, und macht es beim nächsten Mal besser. Ein Preprint von KAIST und DeepAuto.ai beziffert die Kehrseite. Als die Autoren Aufgaben untersuchten, die ein Agent ohne Gedächtnis zuverlässig löste, mit Gedächtnis aber nicht, gingen 52% dieser Fehlschläge auf eine gespeicherte Lektion zurück, der der Agent gefolgt war, meist eine falsche.
Die Ursache ist einfach. Ein früherer Lauf trägt nur das Etikett Erfolg oder Misserfolg, also muss, wer die Lektion formuliert, raten, welche von vielen Aktionen den Ausschlag gab. WikiTrace bewahrt die Belege auf. Jede Lektion ist eine kurze Erkenntnis, die auf eine Diagnose verweist, warum ihr Lauf gut oder schlecht ausging, und von dort auf die rohe Trajektorie. Der Agent liest zu Beginn einer Aufgabe alle Erkenntnisse, und wenn einer Details fehlen, sie einer anderen widerspricht oder aus einem gescheiterten Lauf stammt, folgt er vor dem Handeln den Verweisen mit gewöhnlichen Terminal-Werkzeugen.
Getestet auf acht Suiten aus fünf Benchmarks, von Haushalts- und Wissenschafts-Textwelten bis zu AppWorld und einem Kundenservice-Test im Handel, schnitt WikiTrace auf jeder Suite am besten ab. Es lag im Schnitt 10,7 Punkte vor dem Agenten ohne Gedächtnis und 3,2 Punkte vor einer Version mit denselben Erkenntnissen, aber ohne Verweise. Der Anteil zuvor gelöster Aufgaben, die das Gedächtnis kaputt machte, sank von 6,5% auf 4,5%. Im Testbetrieb kostete es pro Aufgabe 1,17-mal so viel wie die Erkenntnisse allein. Ein zweites Basismodell, GLM-5.3-flash, zeigte auf drei Suiten dasselbe Muster.
Wer Agenten mit Mem0, Letta oder claude-mem betreibt, kann vor allem von der Messweise lernen, nicht nur von der Methode. Die Autoren trennen die Ergebnisse in Gewinn, also Aufgaben, die das Gedächtnis rettet, und Regression, also Aufgaben, die es zerstört, weil ein Durchschnitt Letzteres verdeckt. Ihre Zahlen zeigen, dass bestehende Gedächtnismethoden Aufgaben ähnlich oft oder öfter zerstören, als wenn man den Agenten einfach ohne Gedächtnis neu laufen lässt.
Die Vorbehalte nennen die Autoren selbst. Ein Verweis erlaubt dem Agenten, eine Lektion zu prüfen, beweist aber nicht, dass sie stimmt, und eine Diagnose aus einem Erfolgs- oder Misserfolgsetikett kann trotzdem falsch sein. Alle Erkenntnisse stehen in der ersten Nachricht, der Prompt wächst also mit dem Gedächtnis, und wie man in einem zu großen Speicher die richtigen Lektionen findet, bleibt offen. Die Ursachen der Verschlechterung hat ein LLM-Richter anhand der Begründungen des Agenten eingeordnet. Es handelt sich um einen noch nicht begutachteten Preprint.