Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

TOME-Math transforma 2.118 livros de matemática em dados estruturados de demonstrações

Um preprint apresenta o TOME-Math, um corpus de cerca de 380K registros de demonstrações tirados de 2.118 livros universitários de matemática, que mantém a ordem dos capítulos, os vínculos entre resultados e demonstrações e as fontes. O ajuste fino com o corpus completo eleva a nota média do modelo base em 16,7 pontos percentuais em testes reservados e públicos, à frente de três conjuntos de instruções públicos.

A maior parte dos dados de matemática usados para treinar modelos de linguagem chega como pares soltos de pergunta e resposta, separados dos livros e do raciocínio de onde vieram. Um novo preprint no arXiv, de pesquisadores da University of Science and Technology of China, do Shanghai AI Laboratory, da Fudan University e da Shanghai Jiao Tong University, defende que vale a pena manter essa estrutura. O corpus deles, TOME-Math, transforma 2.118 livros didáticos universitários de 29 disciplinas em 380.292 registros de demonstrações, e um modelo treinado com ele ganha mais do que modelos treinados com conjuntos públicos muito maiores.

O pipeline registra onde cada item fica no livro, a qual teorema uma demonstração pertence, do que ela depende e de onde foi tirada. Ele também cria perguntas de "lacuna" a partir de passos que uma demonstração de livro texto passa rapidamente. A equipe ajustou o Qwen3-30B-A3B-Base por uma época com 364.631 registros, depois de separar 64 livros para teste. Em seis benchmarks (os próprios conjuntos TOME-LongForm e TOME-Objective, ProofNet, MiniF2F, MATH-500 e AIME 2026), a média subiu de 29,17% para 45,83%. O modelo ficou em primeiro em cinco dos seis e em segundo no AIME 2026.

A comparação com dados públicos é a parte mais interessante. O OpenMathInstruct-1 tem 1,82M exemplos, cerca de 4,8 vezes mais, e mesmo assim o modelo treinado com TOME o superou nos seis benchmarks; também ficou à frente do MetaMathQA e do MathInstruct. Em seguida, testes controlados avaliam a estrutura diretamente. Treinar seguindo os capítulos na ordem do livro, com as perguntas de lacuna primeiro, superou os dados embaralhados em todas as 18 combinações de disciplina e volume de dados, e a vantagem chegou a 7,72 pontos no maior orçamento. Distribuir o mesmo orçamento entre 16 livros em vez de 8 acrescentou 3,3 pontos em média.

O resultado se encaixa numa lição mais ampla do treinamento de modelos: a forma como os dados são organizados pode pesar tanto quanto a quantidade. O modelo base pertence à mesma família Qwen do Qwen3.6, que analisamos, e a receita mira modelos abertos desse tipo, não APIs fechadas. Para quem escolhe um modelo para trabalhar com demonstrações, fica a indicação de que a capacidade matemática depende muito do formato dos dados de ajuste, que os fornecedores raramente revelam.

Os limites são claros. Trata-se de um preprint, sem revisão por pares. As demonstrações longas são avaliadas por um modelo, o gpt-5.6-luna, que revisa cada resposta oito vezes, com uma checagem de calibração humana em vez de correção humana completa. Os autores admitem que os conjuntos públicos diferem do deles em vários aspectos, então a comparação principal sozinha não prova que a estrutura seja a causa. Só um modelo base foi testado. A publicação do corpus foi prometida sem data nem licença, e o artigo não explica como serão tratados os direitos de 2.118 livros protegidos por direitos autorais.

Nossa opinião: Manter a estrutura do livro em vez de picá-lo em pares de pergunta e resposta é uma aposta sensata, e a publicação prometida o tornaria útil para outros. É um artigo do arXiv sem revisão, e os direitos de 2.118 livros podem definir com que liberdade o corpus será compartilhado.

Fonte: arXiv (Hugging Face Daily Papers)

Mais matérias