言語モデルは公開された日に学習を止めます。その後に出会う情報はコンテキストウィンドウの中にしか残らず、セッションが終われば消えます。新しいデータで再学習すると、以前の知識が失われがちで、これは破滅的忘却と呼ばれます。Google Researchは、モデルに覚醒と睡眠のサイクルを与えることで両方を同時に解決しようとする手法を発表しました。
覚醒フェーズでは、モデルは通常どおり動き、新しい情報を高速な短期記憶に保持します。睡眠フェーズでは入力の受け付けを止め、その情報を重みに書き込みます。著者のAli Behrouz、Farnoosh Hashemi、Adel Javanmard、Vahab Mirrokniは、自らのHopeアーキテクチャに基づくMixture-of-Experts構成で、予備の低ランクのエキスパートブロックを解放することでこれを実現し、新しい知識が古いパラメータを上書きせず新しい容量に収まるようにしています。転送にはオンポリシー蒸留と、意味的類似度とレーベンシュタイン距離に基づく模倣報酬を使い、その後に一時記憶を消去します。別の「夢」の段階では、ルーターが普段使わないエキスパートを起動して合成の練習例を作り、勾配に基づく選別で有用なものを残して、それで微調整します。
報告された結果は幅広いものです。モデルが未知の言語である満洲語とカラマン語への翻訳では、段階を重ねても性能がほとんど落ちず、文脈内学習、Cartridges、通常の微調整は大きく忘却しました。BABILongでは最大10Mトークンのコンテキストまで性能を保ちました。SQuADを使った知識の取り込みでは単一タスクで48.9%、継続事 前学習で46.2%とSEALを上回り、数学ではAIME 24で79.2%、AIME 25で69.0%、HMMT 25で46.1%を記録し、GRPOやオンポリシー自己蒸留を上回りました。
この発想は、記事が比較対象として挙げるTitansを含む、記憶に関するGoogleの一連の研究に連なるものです。顧客やコードベースを何か月も覚えておくべきアシスタントやエージェントを作る人にとって重要です。現在その役割は検索と長いコンテキストが担っていますが、どちらもリセットされるか、費用がかさみます。
欠けているのは、実務者がまず知りたい情報です。ベースモデルの名前も、睡眠1回あたりの計算量や所要時間も、運用中のモデルがどの程度の頻度で眠る必要があるかも書かれていません。比較対象は著者が選んだベースラインで、神経科学からの借用は著者自身が認めるとおり比喩です。そうした詳細を含む論文と外部での再現が出るまでは、有望な研究成果として数字を読むのが妥当です。