언어 모델이 어려운 문제를 더 잘 풀게 하려는 시도는 대부분 모델에 더 많은 지식을 담거나, 미리 찾아 둔 관련 대목을 건네주는 방식입니다. 상하이 AI 연구소(Shanghai AI Laboratory)와 대학 공동 연구자들의 프리프린트는 세 번째 방법을 시도합니다. 모델에게 공부하는 법을 가르치는 것입니다. 수학 연습문제와 그 문제가 실린 교과서(풀이는 빼고)를 받은 모델은 알맞은 장을 찾아 정의와 정리를 읽은 다음 증명을 써야 합니다. 저자들은 이를 자기 학습이라고 부르며, 사람이 처음 접하는 분야를 공부하는 방식에 더 가깝다는 점에서 중요합니다.
구성은 두 부분입니다. BookNavigator는 모델이 추론하는 동안 목차를 보고, 절로 이동하고, 내용을 읽을 수 있게 해 주는 도구입니다. 학습에는 강화 학습을 쓰며, 보상은 숨겨진 모범 풀이와 비교해 다른 언어 모델이 판정하는 최종 증명의 정답 여부에, 두 가지 더 세밀한 신호를 더한 것입니다. 하나는 학습이 진행될수록 줄어드는 교과서 참조 보너스이고, 다른 하나는 실제로 도움이 된 도구 호출에 주는 점수입니다. 데이터셋에는 고급 수학 교과서 158권에서 뽑은 증명 문제 5,183개가 들어 있습니다.
핵심 수치는 큽니다. Intern-S2-Preview-35B는 학습 전에는 문제의 51.5%만 풀어, 책 없이 풀었을 때의 55.7%보다도 낮았습니다. 학습 후에는 79.5%에 이르러, 교과서 없이 학습한 같은 모델보다 11포인트, 가장 관련성 높은 절을 미리 꺼내 주기만 하는 최선의 방법보다 6.4포인트 높았습니다. 학습에서 빼 둔 교과서와 과목에서는 85.2%와 86.7%를 기록했습니다. 눈에 띄는 발견도 있습니다. 정답 여부만으로 학습해도 정확도는 74.9%까지 올랐지만, 모델은 책을 거의 펼치지 않게 되어 도구를 쓴 시도의 비율이 36.9%에서 6.7%로 떨어졌습니다. 계속 읽게 하려면 탐색 보너스가 필요했습니다.
이는 에이전트를 만드는 방식의 더 큰 변화와 이어집니다. 코딩 에이전트와 리서치 어시스턴트는 이미 행동하기 전에 무엇을 읽을지 스스로 정합니다. 이번 결과는 답하는 능력뿐 아니라 그 읽기 단계 자체를 더 잘하도록 모델을 학습시킬 수 있음을 시사합니다.
조심해야 할 이유도 있습니다. 이 논문은 프리프린트이며 동료 검토를 거치지 않았습니다. 가장 큰 향상은 저자들이 직접 설계한 과제에서 나왔고, 증명의 정답 여부를 사람 수학자가 아니라 언어 모델이 채점하므로 채점에 어느 정도 오류가 있을 가능성이 큽니다. 외부 벤치마크에서의 향상은 훨씬 작아 BrowseComp-Plus에서 1.7포인트, CL-bench에서 2.3포인트였으며, 학습한 모든 버전이 CL-bench의 한 범주, 즉 절차를 단계별로 따르는 과제에서는 기본 모델보다 못했습니다. 교과서 수학을 넘어 이 방법이 무엇을 줄 수 있는지는 이런 소박한 전이 수치가 더 공정한 기준입니다.