Un modèle de langage cesse d'apprendre le jour de sa sortie. Ce qu'il rencontre ensuite ne vit que dans sa fenêtre de contexte et disparaît à la fin de la session, et le réentraîner sur de nouvelles données efface souvent ce qu'il savait, un problème appelé oubli catastrophique. Google Research a publié une méthode qui tente de régler les deux à la fois en donnant au modèle une alternance de veille et de sommeil.
Pendant la phase de veille, le modèle fonctionne normalement et garde les nouveautés dans une mémoire rapide à court terme. Pendant le sommeil, il cesse de recevoir des entrées et inscrit ces éléments dans ses poids. Les auteurs, Ali Behrouz, Farnoosh Hashemi, Adel Javanmard et Vahab Mirrokni, débloquent pour cela des blocs d'experts de faible rang en réserve dans une architecture à mélange d'experts fondée sur leur architecture Hope, afin que le nouveau savoir occupe une capacité neuve au lieu d'écraser d'anciens paramètres. Le transfert repose sur une distillation on-policy et une récompense d'imitation fondée sur la similarité sémantique et la distance de Levenshtein ; la mémoire temporaire est ensuite vidée. Une étape distincte de rêve fait activer par le routeur des experts inhabituels pour produire des exemples d'entraînement synthétiques, garde les plus utiles par sélection fondée sur les gradients et affine le modèle avec eux.
Les résultats annoncés sont larges. En traduction vers le mandchou et le kalamang, langues inconnues du modèle, la performance a à peine baissé d'une étape à l'autre, alors que l'apprentissage en contexte, Cartridges et le simple fine-tuning oubliaient beaucoup. Sur BABILong, la méthode a tenu jusqu'à 10M tokens de contexte. Elle obtient 48,9 % en intégration de connaissances SQuAD sur tâche unique et 46,2 % en préentraînement continu, devant SEAL, et en mathématiques 79,2 % sur AIME 24, 69,0 % sur AIME 25 et 46,1 % sur HMMT 25, au-dessus de GRPO et de l'autodistillation on-policy.
L'idée prolonge des travaux de Google sur la mémoire, dont Titans, cité comme référence. Elle intéresse ceux qui construisent des assistants ou des agents censés se souvenir d'un client ou d'une base de code pendant des mois ; aujourd'hui, ce rôle revient à la recherche documentaire et aux longs contextes, qui se réinitialisent ou coûtent cher.
Il manque ce dont un praticien aurait besoin en premier. Le billet ne nomme pas le modèle de base, n'indique ni le calcul consommé par un cycle de sommeil ni sa durée, et ne dit pas à quelle fréquence un modèle déployé devrait dormir. Les comparaisons portent sur des références choisies par les auteurs, et l'emprunt aux neurosciences est une métaphore, comme ils le reconnaissent. En attendant un article détaillé et une réplication indépendante, mieux vaut lire ces chiffres comme un résultat de recherche prometteur.