La mayoría de los intentos de mejorar a los modelos de lenguaje en problemas difíciles consisten en meter más conocimiento en el modelo o en darle pasajes relevantes buscados de antemano. Un preprint del Shanghai AI Laboratory y de colaboradores universitarios prueba una tercera vía: enseñar al modelo a estudiar. Con un ejercicio de matemáticas y el libro de texto del que procede, sin la solución resuelta, el modelo tiene que encontrar los capítulos adecuados, leer las definiciones y los teoremas y después escribir una demostración. Los autores lo llaman autoaprendizaje, y importa porque se parece más a cómo una persona aborda una materia que no conoce.
El planteamiento tiene dos partes. BookNavigator es una herramienta que permite al modelo consultar el índice, saltar a secciones y leerlas mientras razona. El entrenamiento usa después aprendizaje por refuerzo, con recompensas por una demostración final correcta, juzgada por otro modelo de lenguaje frente a la solución de referencia oculta, más dos señales más finas: una bonificación por consultar el libro que se va apagando durante el entrenamiento y un crédito para las llamadas a la herramienta que de verdad ayudaron. El conjunto de datos reúne 5.183 problemas de demostración sacados de 158 libros de texto de matemáticas avanzadas.
Las cifras principales son grandes. Intern-S2-Preview-35B resolvía el 51,5% de los problemas antes del entrenamiento, incluso peor que el 55,7% que lograba sin ningún libro. Tras el entrenamiento llegó al 79,5%, 11 puntos por encima del mismo modelo entrenado sin el libro y 6,4 puntos por encima del mejor método que se limitaba a recuperar de antemano las secciones más relevantes. En libros y materias excluidos del entrenamiento obtuvo un 85,2% y un 86,7%. Un hallazgo destaca: entrenar solo con la corrección también subió la precisión, hasta el 74,9%, pero el modelo casi dejó de abrir el libro, y el uso de la herramienta cayó del 36,9% de los intentos al 6,7%. La bonificación por explorar fue necesaria para que siguiera leyendo.
Esto enlaza con un cambio más amplio en la forma de construir agentes. Los agentes de programación y los asistentes de investigación ya deciden qué leer antes de actuar, y los resultados indican que se puede entrenar a un modelo para mejorar ese paso de lectura y no solo la respuesta.
Hay motivos para la cautela. El artículo es un preprint y no ha pasado revisión por pares. Las mayores mejoras se dan en una tarea diseñada por los propios autores, y la corrección de las demostraciones la califica un modelo de lenguaje, no matemáticos humanos, así que es probable que haya algún error en la puntuación. La mejora en pruebas externas es mucho menor, 1,7 puntos en BrowseComp-Plus y 2,3 en CL-bench, y todas las versiones entrenadas lo hicieron peor que el modelo base en una categoría de CL-bench, la de seguir procedimientos paso a paso. Esas modestas cifras de transferencia son la guía más justa de lo que el método ofrece más allá de las matemáticas de libro de texto.