Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

Anthropic: Neuere Claude-Modelle merken sich weniger, aber Besseres

Anthropic beschreibt, wie Claudes Gedächtnis über Sitzungen hinweg funktioniert und wie Dreaming, das nachträgliche Durchgehen alter Transkripte, falsche Notizen korrigiert. Beim Spielen von Pokémon Red schrieb Sonnet 3.7 413 Gedächtnisdateien in 225 Ordnern und gewann einen Orden, Fable 5 schrieb neun Dateien in zwei Ordnern und gewann vier. Feste Regeln wie nur Fehler zu notieren schmälerten den Gewinn bei stärkeren Modellen.

Einem KI-Agenten ein Gedächtnis zu geben klingt einfach: Er schreibt Notizen und liest sie beim nächsten Mal. Anthropics neuer Forschungsbeitrag zeigt, warum es das nicht ist und warum sich die Antwort mit besseren Modellen verändert hat. Kurz gesagt: Stärkere Claude-Modelle speichern viel weniger, wählen besser aus, was sie speichern, und schneiden schlechter ab, wenn man ihnen genau vorgibt, was sie notieren sollen.

Das deutlichste Beispiel stammt aus Pokémon Rot. Nach etwa 10.000 Spielschritten hatte Claude Sonnet 3.7 413 Gedächtnisdateien in 225 Ordnern geschrieben, darunter eigene Dateien für einzelne Kämpfe, Gegenstände und Figuren, und einen Orden gewonnen. Claude Fable 5 schrieb neun Dateien in zwei Ordnern plus eine einzige übergeordnete Übersicht und gewann vier. Vieles, was das ältere Modell speicherte, etwa Geld oder Kartenposition, lässt sich ohnehin vom Bildschirm ablesen, und einmal verbrachte es 17 Schritte damit, Dateien umzuorganisieren, ohne einen Zug zu machen. Opus 5.5 führte einen kleinen, ständig neu geschriebenen Notizsatz und spielte das Spiel durch. Bei einer Datenbank-Frageaufgabe aus Continual Learning Bench 1.0 schloss Opus 5 als erstes Modell den Kreis und schrieb Regeln samt Begründung, woher es wusste, dass sie stimmen; Opus 5.5 und Sonnet 5.5 taten dasselbe.

Die Hinweise für Entwickler sind konkret. Claude zu sagen, wofür das Gedächtnis da ist, ohne vorzuschreiben, wie es genutzt wird, funktionierte bei starken Modellen am besten. Eine Regel wie "nur Fehlschläge festhalten" kostete Opus 5 und Opus 4.7 einen Großteil ihres Gewinns durch das Gedächtnis. Ältere Modelle brauchen weiterhin Führung: Sonnet 4.6 aufzufordern, sein Gedächtnis zu lesen und seine Theorien zu prüfen, verdoppelte seinen Wert fast, während Sonnet 5 sein Gedächtnis in neun von zehn Fällen unaufgefordert las.

Die zweite Idee heißt Träumen: vergangene Transkripte offline durchsehen, um falsche Notizen zu korrigieren. In einem Pokémon-Lauf notierte Claude falsch, auf welcher Seite des Mt. Moon ein Orientierungspunkt lag, und fiel immer wieder dieselbe Kante hinunter; nachdem das Träumen die Notiz mit dem Transkript abgeglichen hatte, ging es zurück in die Höhle und erreichte die nächste Stadt. Bei einem Korpus von etwa 350.000 internen Dateien hob ein über 128 Traumsitzungen aufgebautes, verlinktes Wiki die Trefferquote bei 25 Fragen von 13% auf 48%, und Wiki plus Suche schlug die Suche allein mit 61% zu 53% und sparte etwa 20.000 Tokens pro Frage.

Für Entwickler auf der Claude Developer Platform läuft vieles davon über Managed Agents und ist direkt nutzbar. Die Vorbehalte: Alle Ergebnisse stammen aus Anthropics eigenen Aufgaben und Spielen, manche Vergleiche beruhen auf einzelnen Läufen, und der Beitrag zeigt selbst ein Wiki, das größer wurde als die Dokumente, die es zusammenfassen sollte, eine Erinnerung daran, dass mehr Gedächtnis nicht immer besseres Gedächtnis ist.

Unser Fazit: Die praktische Lehre für Agenten-Entwickler: Starken Modellen sagen, wofür das Gedächtnis da ist, und den Rest ihnen überlassen, während ältere Modelle weiter klare Anweisungen brauchen. Die Ergebnisse stammen aus Anthropics eigenen Benchmarks und Spielen.

Unsere Testberichte:Claude Opus 5.5Claude Sonnet 5.5Claude Developer Platform

Quelle: Anthropic

Weitere Artikel