Un modelo de lenguaje deja de aprender el día que se publica. Lo que encuentra después vive solo en su ventana de contexto y desaparece al cerrar la sesión, y reentrenarlo con datos nuevos suele borrar lo que ya sabía, un problema conocido como olvido catastrófico. Google Research ha publicado un marco que intenta resolver ambas cosas a la vez dando al modelo una rutina de vigilia y sueño.
En la fase de vigilia, el modelo funciona con normalidad y guarda el material nuevo en una memoria rápida a corto plazo. En el sueño deja de recibir entradas y escribe ese material en sus pesos. Los autores, Ali Behrouz, Farnoosh Hashemi, Adel Javanmard y Vahab Mirrokni, lo consiguen desbloqueando bloques de expertos de bajo rango de reserva en un diseño de mezcla de expertos basado en su arquitectura Hope, de modo que el conocimiento nuevo ocupa capacidad nueva en lugar de pisar parámetros antiguos. La transferencia usa destilación on-policy y una recompensa de imitación basada en similitud semántica y distancia de Levenshtein; después se borra la memoria temporal. Una etapa aparte de sueño activa expertos poco habituales para generar ejemplos sintéticos de práctica, conserva los más útiles mediante selección por gradientes y afina el modelo con ellos.
Los resultados declarados son amplios. En traducción al manchú y al kalamang, idiomas que el modelo no había visto, el rendimiento apenas bajó entre etapas, mientras que el aprendizaje en contexto, Cartridges y el ajuste fino simple olvidaron mucho. En BABILong, el método aguantó hasta 10M tokens de contexto. Obtuvo un 48,9% en incorporación de conocimiento con SQuAD en tarea única y un 46,2% con preentrenamiento continuo, por delante de SEAL, y en matemáticas llegó al 79,2% en AIME 24, al 69,0% en AIME 25 y al 46,1% en HMMT 25, superando a GRPO y a la autodestilación on-policy.
La idea continúa una línea de trabajo de Google sobre memoria que incluye Titans, citado como referencia en el artículo. Importa a quien construye asistentes o agentes que deban recordar a un cliente o una base de código durante meses; hoy esa tarea recae en la recuperación de documentos y en contextos largos, que se reinician o se encarecen.
Lo que falta es justo lo que un profesional necesitaría primero. No se nombra el modelo base, ni cuánta computación consume un ciclo de sueño, ni cuánto dura, ni con qué frecuencia tendría que dormir un modelo en producción. Las comparaciones son con referencias elegidas por los autores, y el préstamo de la neurociencia es una metáfora, como ellos mismos dicen. Hasta que aparezca un artículo con esos datos y una replicación externa, conviene tratar las cifras como un resultado de investigación prometedor.