Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

TOME-Math macht aus 2.118 Mathe-Lehrbüchern strukturierte Trainingsdaten für Beweise

Ein Preprint stellt TOME-Math vor, einen Korpus mit rund 380K Beweisdatensätzen aus 2.118 Mathematiklehrbüchern für die Universität, der Kapitelreihenfolge, Verknüpfungen zwischen Sätzen und Beweisen sowie Quellen erhält. Feintuning auf dem vollen Korpus hebt den Durchschnittswert des Basismodells über zurückgehaltene und öffentliche Benchmarks um 16,7 Prozentpunkte, vor drei öffentlichen Instruktionsdatensätzen.

Die meisten Mathematikdaten, mit denen Sprachmodelle trainiert werden, kommen als lose Frage-Antwort-Paare, abgetrennt von den Büchern und der Argumentation, aus denen sie stammen. Ein neuer arXiv-Preprint von Forschenden der University of Science and Technology of China, des Shanghai AI Laboratory, der Fudan University und der Shanghai Jiao Tong University hält dagegen, dass sich diese Struktur zu bewahren lohnt. Ihr Korpus TOME-Math macht aus 2.118 Hochschullehrbüchern in 29 Fächern 380.292 Beweisdatensätze, und ein damit trainiertes Modell legt stärker zu als Modelle, die mit weit größeren öffentlichen Datensätzen trainiert wurden.

Die Pipeline hält fest, wo jedes Element im Buch steht, zu welchem Satz ein Beweis gehört, wovon er abhängt und woher er stammt. Außerdem erzeugt sie "Lücken"-Fragen aus Schritten, über die ein Lehrbuchbeweis schnell hinweggeht. Das Team hat Qwen3-30B-A3B-Base eine Epoche lang mit 364.631 Datensätzen feinjustiert, nachdem 64 Bücher für Tests zurückgehalten wurden. Über sechs Benchmarks (die eigenen Sets TOME-LongForm und TOME-Objective, ProofNet, MiniF2F, MATH-500 und AIME 2026) stieg der Durchschnitt von 29,17% auf 45,83%. Das Modell lag bei fünf der sechs vorn und bei AIME 2026 auf Platz zwei.

Spannender ist der Vergleich mit öffentlichen Daten. OpenMathInstruct-1 umfasst 1,82M Beispiele, etwa 4,8-mal so viele, und doch schlug das mit TOME trainierte Modell es in allen sechs Benchmarks; auch MetaMathQA und MathInstruct ließ es hinter sich. Kontrollierte Läufe prüfen die Struktur dann direkt. Training entlang der Kapitel in Buchreihenfolge, mit den Lücken-Fragen zuerst, war gemischten Daten in allen 18 Kombinationen aus Fach und Datenmenge überlegen, und der Vorsprung wuchs beim größten Budget auf 7,72 Punkte. Dasselbe Budget auf 16 statt 8 Bücher zu verteilen, brachte im Schnitt 3,3 Punkte mehr.

Der Befund passt zu einer breiteren Lehre aus dem Modelltraining: Wie Daten geordnet sind, kann so viel zählen wie ihre Menge. Das Basismodell gehört zur selben Qwen-Familie wie Qwen3.6, das wir besprechen, und das Rezept zielt auf offene Modelle dieser Art, nicht auf geschlossene APIs. Wer ein Modell für Beweisarbeit auswählt, sieht hier, dass die mathematischen Fähigkeiten stark von der Form der Feinabstimmungsdaten abhängen, die Anbieter selten offenlegen.

Die Grenzen sind deutlich. Es handelt sich um einen Preprint ohne Peer Review. Die langen Beweise bewertet ein Modell, gpt-5.6-luna, das jede Antwort achtmal prüft, ergänzt um eine menschliche Kalibrierungsprüfung statt vollständiger menschlicher Korrektur. Die Autoren räumen ein, dass sich die öffentlichen Datensätze in mehreren Punkten von ihrem unterscheiden, sodass der Hauptvergleich allein nicht beweist, dass die Struktur die Ursache ist. Getestet wurde nur ein Basismodell. Die Veröffentlichung des Korpus ist ohne Datum und Lizenz angekündigt, und das Paper erklärt nicht, wie mit den Rechten an 2.118 urheberrechtlich geschützten Lehrbüchern umgegangen wird.

Unser Fazit: Die Struktur eines Lehrbuchs zu bewahren, statt es in Frage-Antwort-Paare zu zerlegen, ist eine vernünftige Wette, und die angekündigte Veröffentlichung würde es für andere nutzbar machen. Es ist ein nicht begutachteter arXiv-Artikel, und die Rechte an 2.118 Lehrbüchern könnten bestimmen, wie frei der Korpus geteilt werden kann.

Quelle: arXiv (Hugging Face Daily Papers)

Weitere Artikel