Ein Sprachmodell hört an dem Tag auf zu lernen, an dem es ausgeliefert wird. Was es danach erfährt, lebt nur im Kontextfenster und verschwindet mit dem Ende der Sitzung, und erneutes Training mit neuen Daten löscht oft, was es vorher wusste, ein Problem namens katastrophales Vergessen. Google Research hat ein Verfahren veröffentlicht, das beides zugleich lösen will, indem es dem Modell einen Rhythmus aus Wachen und Schlafen gibt.
In der Wachphase arbeitet das Modell normal und hält neues Material in einem schnellen Kurzzeitspeicher. Im Schlaf nimmt es keine Eingaben an und schreibt dieses Material in seine Gewichte. Die Autoren Ali Behrouz, Farnoosh Hashemi, Adel Javanmard und Vahab Mirrokni schalten dafür freie Low-Rank-Expertenblöcke in einem Mixture-of-Experts-Aufbau auf Basis ihrer Hope-Architektur frei, sodass neues Wissen in frischer Kapazität landet statt über alten Parametern. Die Übertragung nutzt On-Policy-Destillation und eine Imitationsbelohnung nach semantischer Ähnlichkeit und Levenshtein-Distanz; danach wird der temporäre Speicher geleert. In einer eigenen Traumphase aktiviert der Router ungewöhnliche Experten, um synthetische Übungsbeispiele zu erzeugen, behält per gradientenbasierter Auswahl die nützlichsten und trainiert damit nach.
Die gemeldeten Ergebnisse sind breit. Bei Übersetzungen ins Mandschurische und ins Kalamang, Sprachen, die das Modell nicht kannte, sank die Leistung über die Stufen kaum, während In-Context-Learning, Cartridges und einfaches Fine-Tuning stark vergaßen. Bei BABILong hielt die Methode bis zu 10M Token Kontext. Sie erreichte 48,9% bei der Wissensaufnahme mit SQuAD in einer Einzelaufgabe und 46,2% bei fortgesetztem Vortraining, vor SEAL, und in Mathematik 79,2% bei AIME 24, 69,0% bei AIME 25 und 46,1% bei HMMT 25, mehr als GRPO und On-Policy-Selbstdestillation.
Die Idee steht in einer Reihe von Google-Arbeiten zum Gedächtnis, darunter Titans, das der Beitrag als Vergleich nennt. Wichtig ist sie für alle, die Assistenten oder Agenten bauen, die sich über Monate an einen Kunden oder eine Codebasis erinnern sollen; heute übernehmen das Retrieval und lange Kontexte, die sich zurücksetzen oder teuer werden.
Es fehlt genau das, was Praktiker zuerst bräuchten. Der Beitrag nennt kein Basismodell, keinen Rechenaufwand und keine Dauer eines Schlafzyklus und sagt nicht, wie oft ein eingesetztes Modell schlafen müsste. Verglichen wird mit von den Autoren gewählten Baselines, und die Anleihe bei der Neurowissenschaft ist eine Metapher, wie sie selbst schreiben. Bis ein Paper mit diesen Angaben und eine unabhängige Wiederholung vorliegen, sind die Zahlen als vielversprechendes Forschungsergebnis zu lesen.