언어 모델은 출시되는 날 학습을 멈춥니다. 그 뒤에 접하는 정보는 컨텍스트 창 안에만 머물다 세션이 끝나면 사라지고, 새 데이터로 다시 학습시 키면 기존 지식이 지워지기 쉽습니다. 이를 파국적 망각이라고 부릅니다. Google Research는 모델에 깨어 있음과 잠의 주기를 주어 두 문제를 한꺼번에 풀려는 방법을 발표했습니다.
깨어 있는 단계에서 모델은 평소처럼 작동하며 새 내용을 빠른 단기 기억에 보관합니다. 잠자는 단계에서는 입력을 받지 않고 그 내용을 가중치에 기록합니다. 저자인 Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni는 자신들의 Hope 아키텍처를 바탕으로 한 전문가 혼합 구조에서 예비 저랭크 전문가 블록을 열어 이를 구현합니다. 새 지식이 오래된 매개변수를 덮어쓰지 않고 새 용량에 들어가도록 하는 방식입니다. 전이에는 온폴리시 증류와 의미 유사도 및 레벤슈타인 거리를 기준으로 한 모방 보상을 쓰고, 이후 임시 기억을 비웁니다. 별도의 꿈 단계에서는 라우터가 평소 쓰지 않는 전문가를 켜서 합성 연습 예제를 만들고, 기울기 기반 선택으로 가장 유용한 것을 남겨 미세 조정에 씁니다.
보고된 결과는 폭넓습니다. 모델이 본 적 없는 만주어와 칼라망어 번역에서 단계를 거쳐도 성능이 거의 떨어지지 않았고, 문맥 내 학습, Cartridges, 일반 미세 조정은 크게 잊어버렸습니다. BABILong에서는 최대 10M 토큰의 컨텍스트까지 버텼습니다. SQuAD 지식 주입에서 단일 과제 48.9%, 지속 사전 학습 46.2%로 SEAL을 앞섰고, 수학에서는 AIME 24 79.2%, AIME 25 69.0%, HMMT 25 46.1%로 GRPO와 온폴리시 자기 증류를 넘어섰습니다.
이 아이디어는 글에서 비교 대상으로 언급한 Titans를 포함해 기억에 관한 Google의 연구 흐름을 잇습니다. 고객이나 코드베이스를 몇 달 동안 기억해야 하는 비서나 에이전트를 만드는 사람에게 중요합니다. 지금은 검색과 긴 컨텍스트가 그 일을 맡지만, 초기화되거나 비용이 커집니다.
빠진 것은 실무자가 가장 먼저 알고 싶은 정보입니다. 기반 모델의 이름, 수면 한 주기에 드는 연산량과 시간, 운영 중인 모델이 얼마나 자주 잠들어야 하는지가 나오지 않습니다. 비교는 저자가 고른 기준 모델과 이루어졌고, 신경과학에서 빌린 표현은 저자 스스로 밝히듯 비유입니다. 이런 세부 내용을 담은 논문과 외부 재현이 나오기 전까지는 유망한 연구 결과로 숫자를 읽는 것이 맞습니다.