Die meisten Versuche, Sprachmodelle bei schweren Aufgaben besser zu machen, packen entweder mehr Wissen ins Modell oder reichen ihm vorab gesuchte passende Textstellen. Ein Preprint des Shanghai AI Laboratory und universitärer Partner versucht einen dritten Weg: dem Modell das Lernen beizubringen. Es bekommt eine Matheaufgabe und das Lehrbuch, aus dem sie stammt, ohne die ausgearbeitete Lösung, und muss die richtigen Kapitel finden, Definitionen und Sätze lesen und dann einen Beweis schreiben. Die Autoren nennen das Selbstlernen, und es ist wichtig, weil es näher daran ist, wie ein Mensch sich ein unbekanntes Fach erschließt.
Der Aufbau hat zwei Teile. BookNavigator ist ein Werkzeug, mit dem das Modell ein Inhaltsverzeichnis ansehen, zu Abschnitten springen und sie lesen kann, während es nachdenkt. Das Training nutzt dann bestärkendes Lernen mit Belohnungen für einen korrekten Schlussbeweis, bewertet von einem anderen Sprachmodell anhand der verborgenen Musterlösung, dazu zwei feinere Signale: einen Bonus für das Nachschlagen im Buch, der im Lauf des Trainings abnimmt, und eine Gutschrift für einzelne Werkzeugaufrufe, die tatsächlich geholfen haben. Der Datensatz umfasst 5.183 Beweisaufgaben aus 158 Lehrbüchern der höheren Mathematik.
Die Hauptzahlen sind groß. Intern-S2-Preview-35B löste vor dem Training 51,5% der Aufgaben, sogar weniger als die 55,7%, die es ganz ohne Buch erreichte. Nach dem Training kam es auf 79,5%, 11 Punkte mehr als dasselbe Modell, das ohne Lehrbuch trainiert wurde, und 6,4 Punkte mehr als die beste Methode, die vorab einfach die passendsten Abschnitte heraussuchte. Bei Lehrbüchern und Fächern, die im Training nicht vorkamen, erreichte es 85,2% und 86,7%. Ein Befund sticht heraus: Training allein auf Korrektheit hob die Genauigkeit ebenfalls, auf 74,9%, doch das Modell schlug das Buch kaum noch auf, die Werkzeugnutzung fiel von 36,9% der Versuche auf 6,7%. Erst der Erkundungsbonus hielt es beim Lesen.
Das fügt sich in einen breiteren Wandel beim Bau von Agenten. Coding-Agenten und Rechercheassistenten entscheiden bereits, was sie lesen, bevor sie handeln, und die Ergebnisse deuten darauf hin, dass sich ein Modell darauf trainieren lässt, diesen Leseschritt zu verbessern und nicht nur das Antworten.
Es gibt Gründe zur Vorsicht. Die Arbeit ist ein Preprint und nicht begutachtet. Die größten Zuwächse zeigen sich bei einer Aufgabe, die die Autoren selbst entworfen haben, und die Korrektheit der Beweise bewertet ein Sprachmodell, nicht menschliche Mathematiker, sodass gewisse Fehler in der Bewertung wahrscheinlich sind. Bei externen Benchmarks ist die Verbesserung viel kleiner, 1,7 Punkte bei BrowseComp-Plus und 2,3 bei CL-bench, und jede trainierte Version schnitt in einer CL-bench-Kategorie schlechter ab als das Basismodell, beim schrittweisen Befolgen von Abläufen. Diese bescheidenen Übertragungswerte sind der fairere Maßstab dafür, was die Methode jenseits von Lehrbuchmathematik leistet.