Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

Sage-Taiyi lidera benchmark de coautor científico de IA e eleva rendimentos de reações reais

Sage-Taiyi, um preprint, é um agente de pesquisa que acompanha o próprio entendimento das evidências e das questões em aberto para decidir o que investigar a seguir. No Taiyi-Bench, com 265 tarefas de 50 artigos em dez disciplinas, marcou 54,0 contra 47,9 do AI Scientist-v2. Em colaborações de laboratório, elevou o rendimento de uma reação catalisada por cobalto de traços para 84%.

Assistentes de pesquisa com IA são bons em produzir ideias e ruins em lembrar por que as anteriores falharam. O Sage-Taiyi, descrito num novo preprint, foi feito para corrigir isso, e sua prova mais convincente não é uma nota de benchmark, mas duas reações químicas que funcionaram muito melhor depois das sugestões dele.

O desenho toma emprestada da psicologia a metacognição, ou seja, pensar sobre o próprio pensamento. Uma camada faz a busca científica: divide a pergunta em alvos, gera e refina ideias e guarda evidências de experimentos, artigos e especialistas humanos. Uma segunda camada mantém um retrato atualizado do que essas evidências sustentam, quais suposições são frágeis e quais perguntas continuam abertas, e o usa para escolher o que investigar em seguida e que método de raciocínio aplicar. O objetivo é impedir que um agente corra atrás do resultado mais recente enquanto esquece uma falha de três rodadas atrás.

No Taiyi-Bench, que a equipe montou com 265 tarefas tiradas de 50 artigos de dez disciplinas, o Sage-Taiyi marcou 54,0 no total, contra 47,9 do AI Scientist-v2, o melhor dos sistemas comparados, e ficou em primeiro nas oito métricas. Ele rodou sobre o GPT-5.6-Sol, e as referências incluíam o mesmo modelo dentro do Codex e do Claude Code, além do Claude Opus 5 e de outros agentes de pesquisa, então o ganho é atribuído à arquitetura e não a um modelo mais forte. Os artigos foram escolhidos entre os posteriores à data de corte do treinamento do modelo, para limitar a contaminação.

Os resultados de laboratório pesam mais. Em cinco colaborações guiadas por especialistas em química, ciência de materiais e engenharia, as propostas do sistema foram testadas de verdade. Otimizar as condições de uma carbonilação catalisada por cobalto elevou o rendimento de quantidades-traço para 84%, e uma aminação alílica fotocatalítica subiu de 13% para 69%. São ganhos que um grupo de química notaria.

Há bons motivos para cautela. O benchmark é dos próprios autores, e as ideias são pontuadas por um verificador automático baseado na literatura que, segundo a equipe, concorda bem com especialistas humanos, mas continua sendo um modelo avaliando outro. As cinco colaborações foram guiadas por especialistas, então é difícil separar a contribuição do sistema da dos cientistas que o conduziam, e dois bons resultados em reações não dizem com que frequência as sugestões dele falham. Por ser um preprint, nada disso passou por revisão por pares, e os autores não informam o custo computacional de cada execução.

Nossa opinião: Os resultados de bancada importam mais que o benchmark, criado pela mesma equipe. Cinco colaborações guiadas por especialistas são promissoras, mas também mostram que as pessoas continuam no comando.

Fonte: arXiv (Hugging Face Daily Papers)

Mais matérias