La plupart des tentatives pour rendre les modèles de langage meilleurs sur les problèmes difficiles consistent soit à leur faire absorber plus de connaissances, soit à leur fournir des passages pertinents cherchés à l'avance. Un preprint du Shanghai AI Laboratory et de partenaires universitaires essaie une troisième voie : apprendre au modèle à étudier. Face à un exercice de mathématiques et au manuel dont il est tiré, sans le corrigé, le modèle doit trouver les bons chapitres, lire les définitions et les théorèmes, puis rédiger une démonstration. Les auteurs parlent d'auto-apprentissage, et cela compte parce que c'est plus proche de la façon dont une personne aborde une matière qu'elle ne connaît pas.
Le dispositif a deux volets. BookNavigator est un outil qui permet au modèle de consulter une table des matières, d'aller à des sections et de les lire tout en raisonnant. L'entraînement recourt ensuite à l'apprentissage par renforcement, avec des récompenses pour une démonstration finale correcte, jugée par un autre modèle de langage au regard du corrigé caché, plus deux signaux plus fins : un bonus pour la consultation du livre qui s'estompe au fil de l'entraînement, et un crédit pour les appels d'outil qui ont réellement aidé. Le jeu de données compte 5 183 problèmes de démonstration tirés de 158 manuels de mathématiques avancées.
Les chiffres principaux sont élevés. Intern-S2-Preview-35B résolvait 51,5% des problèmes avant l'entraînement, moins encore que les 55,7% obtenus sans aucun livre. Après l'entraînement, il atteint 79,5%, 11 points de plus que le même modèle entraîné sans le manuel et 6,4 points de plus que la meilleure méthode se contentant de récupérer d'avance les sections les plus pertinentes. Sur des manuels et des matières absents de l'entraînement, il obtient 85,2% et 86,7%. Un résultat ressort : l'entraînement sur la seule exactitude a aussi relevé la précision, à 74,9%, mais le modèle a presque cessé d'ouvrir le livre, l'usage de l'outil passant de 36,9% des tentatives à 6,7%. Il a fallu le bonus d'exploration pour qu'il continue à lire.
Cela rejoint une évolution plus large dans la conception des agents. Les agents de programmation et les assistants de recherche décident déjà quoi lire avant d'agir, et les résultats suggèrent qu'on peut entraîner un modèle à améliorer cette étape de lecture, et pas seulement sa réponse.
Il y a des raisons d'être prudent. L'article est un preprint, non évalué par des pairs. Les gains les plus importants portent sur une tâche conçue par les auteurs, et l'exactitude des démonstrations est notée par un modèle de langage, pas par des mathématiciens, si bien qu'une part d'erreur dans la notation est probable. L'amélioration sur des benchmarks externes est bien plus faible, 1,7 point sur BrowseComp-Plus et 2,3 sur CL-bench, et toutes les versions entraînées ont fait moins bien que le modèle de base dans une catégorie de CL-bench, l'exécution de procédures pas à pas. Ces modestes chiffres de transfert donnent l'idée la plus juste de ce que la méthode apporte au-delà des mathématiques de manuel.