Um modelo de linguagem para de aprender no dia em que é lançado. O que ele encontra depois vive só na janela de contexto e some quando a sessão termina, e retreiná-lo com dados novos costuma apagar o que já sabia, um problema conhecido como esquecimento catastrófico. O Google Research publicou um método que tenta resolver as duas coisas de uma vez, dando ao modelo uma rotina de vigília e sono.
Na fase de vigília, o modelo funciona normalmente e guarda o material novo numa memória rápida de curto prazo. No sono, para de receber entradas e grava esse material nos pesos. Os autores, Ali Behrouz, Farnoosh Hashemi, Adel Javanmard e Vahab Mirrokni, fazem isso liberando blocos de especialistas de baixo posto reservados num projeto de mistura de especialistas baseado na arquitetura Hope, para que o conhecimento novo ocupe capacidade nova em vez de sobrescrever parâmetros antigos. A transferência usa destilação on-policy e uma recompensa de imitação baseada em similaridade semântica e distância de Levenshtein; depois, a memória temporária é limpa. Uma etapa separada de sonho faz o roteador ativar especialistas incomuns para gerar exemplos sintéticos de prática, mantém os mais úteis por seleção baseada em gradientes e ajusta o modelo com eles.
Os resultados relatados são amplos. Na tradução para manchu e kalamang, idiomas que o modelo não conhecia, o desempenho quase não caiu entre as etapas, enquanto aprendizado em contexto, Cartridges e ajuste fino simples esqueceram muito. No BABILong, o método se manteve com até 10M tokens de contexto. Marcou 48,9% na incorporação de conhecimento com SQuAD em tarefa única e 46,2% com pré-treinamento contínuo, à frente do SEAL, e em matemática chegou a 79,2% no AIME 24, 69,0% no AIME 25 e 46,1% no HMMT 25, acima de GRPO e da autodestilação on-policy.
A ideia segue uma linha de trabalhos do Google sobre memória, incluindo o Titans, citado como referência. Interessa a quem constrói assistentes ou agentes que precisam lembrar de um cliente ou de uma base de código por meses; hoje essa tarefa fica com a recuperação de documentos e com contextos longos, que reiniciam ou ficam caros.
Falta justamente o que um profissional precisaria primeiro. O texto não nomeia o modelo base, não informa quanta computação um ciclo de sono consome nem quanto dura, e não diz com que frequência um modelo em produção precisaria dormir. As comparações são com referências escolhidas pelos autores, e o empréstimo da neurociência é metáfora, como eles mesmos dizem. Até sair um artigo com esses dados e uma replicação externa, vale ler os números como um resultado de pesquisa promissor.