言語モデルを難しい問題に強くしようとする試みの多くは、モデルにより多くの知識を詰め込むか、事前に探した関連箇所を渡すかのどちらかです。上海AI研究所(Shanghai AI Laboratory)と大学の共同研究者によるプレプリントは、第三の方法を試しています。モデルに勉強の仕方を教えるのです。数学の演習問題と、その出典の教科書(模範解答は除いたもの)を与えられたモデルは、適切な章を探し、定義と定理を読み、それから証明を書かなければなりません。著者たちはこれを自己学習と呼んでいます。人が初めての分野に取り組むやり方に近いという点で重要です。
仕組みは2つの部分からなります。BookNavigatorは、モデルが推論しながら目次を見て、節に移動し、内容を読めるようにするツールです。学習には強化学習を使います。報酬は、隠された模範解答と照らして別の言語モデルが判定する最終的な証明の正しさに加え、2つのより細かい信号からなります。学習が進むにつれて薄れていく、教科書を参照したことへのボーナスと、実際に役立ったツール呼び出しへの加点です。データセットには、上級数学の教科書158冊から集めた5,183問の証明問題が含まれます。
主要な数字は大きなものです。Intern-S2-Preview-35Bは学習前には問題の51.5%しか解けず、教科書なしで解いた場合の55.7%よりも低い結果でした。学習後は79.5%に達し、教科書なしで学習させた同じモデルを11ポイント、最も関連の深い節を事前に取り出すだけの最良の手法を6.4ポイント上回りま した。学習に含めなかった教科書と分野では、85.2%と86.7%を記録しました。目を引く発見もあります。正しさだけで学習させても精度は74.9%まで上がりましたが、モデルはほとんど教科書を開かなくなり、ツールを使った試行の割合は36.9%から6.7%に落ちました。読み続けさせるには探索のボーナスが必要でした。
これは、エージェントの作り方におけるより大きな変化とつながっています。コーディングエージェントや調査アシスタントは、すでに行動する前に何を読むかを判断しています。今回の結果は、答える力だけでなく、その「読む」段階を上達させるようにモデルを学習させられることを示唆しています。
慎重になるべき理由もあります。この論文はプレプリントで、査読を経ていません。最大の改善は著者自身が設計した課題でのもので、証明の正しさを採点しているのは人間の数学者ではなく言語モデルなので、採点にある程度の誤りがある可能性が高いでしょう。外部のベンチマークでの改善はずっと小さく、BrowseComp-Plusで1.7ポイント、CL-benchで2.3ポイントでした。しかも学習させたどの版も、CL-benchの一つの分野、つまり手順を一つずつ守って実行する課題では元のモデルを下回りました。教科書の数学を超えてこの手法が何をもたらすかを測るには、こうした控えめな転移の数字の方が公平な目安です。