Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

Sage-Taiyi führt einen KI-Co-Scientist-Benchmark an und steigert echte Reaktionsausbeuten

Sage-Taiyi, ein Preprint, ist ein Forschungsagent, der sein eigenes Verständnis von Belegen und offenen Fragen verfolgt, um zu entscheiden, was er als Nächstes untersucht. Auf Taiyi-Bench mit 265 Aufgaben aus 50 Arbeiten in zehn Disziplinen erzielte er 54,0 gegenüber 47,9 für AI Scientist-v2. In Laborkooperationen hob er die Ausbeute einer cobaltkatalysierten Reaktion von Spuren auf 84%.

KI-Forschungsassistenten sind gut darin, Ideen zu produzieren, und schlecht darin, sich zu merken, warum frühere Ideen gescheitert sind. Sage-Taiyi, beschrieben in einem neuen Preprint, ist darauf ausgelegt, das zu ändern, und sein überzeugendster Beleg ist kein Benchmark-Wert, sondern zwei chemische Reaktionen, die nach seinen Vorschlägen deutlich besser liefen.

Das Design leiht sich aus der Psychologie die Metakognition, also das Nachdenken über das eigene Denken. Eine Ebene übernimmt die wissenschaftliche Suche: Sie zerlegt eine Frage in Ziele, erzeugt und verfeinert Ideen und speichert Belege aus Experimenten, Fachartikeln und von menschlichen Experten. Eine zweite Ebene führt ein laufendes Bild davon, was diese Belege stützen, welche Annahmen wackeln und welche Fragen offen sind, und entscheidet damit, was als Nächstes untersucht wird und mit welcher Denkmethode. Ziel ist, dass ein Agent nicht dem jüngsten Ergebnis hinterherläuft und dabei einen Fehlschlag von vor drei Runden vergisst.

Auf Taiyi-Bench, das das Team aus 265 Aufgaben aus 50 Fachartikeln in zehn Disziplinen gebaut hat, erzielte Sage-Taiyi insgesamt 54,0 gegenüber 47,9 für AI Scientist-v2, das stärkste Vergleichssystem, und lag bei allen acht Kennzahlen vorn. Es lief auf GPT-5.6-Sol; zu den Vergleichssystemen gehörten dasselbe Modell in Codex und Claude Code sowie Claude Opus 5 und andere Forschungsagenten, der Vorsprung wird also der Architektur zugeschrieben, nicht einem stärkeren Modell. Die Artikel stammen aus der Zeit nach dem Trainingsstichtag des Modells, um Kontamination zu begrenzen.

Mehr Gewicht haben die Laborergebnisse. In fünf von Fachleuten begleiteten Kooperationen in Chemie, Materialwissenschaft und Ingenieurwesen wurden die Vorschläge des Systems tatsächlich erprobt. Die Optimierung der Bedingungen einer kobaltkatalysierten Carbonylierung hob deren Ausbeute von Spuren auf 84%, und eine photokatalytische allylische Aminierung stieg von 13% auf 69%. Solche Zuwächse würde eine Chemiegruppe bemerken.

Es gibt gute Gründe zur Vorsicht. Der Benchmark stammt von den Autoren selbst, und die Ideen bewertet ein automatischer, literaturgestützter Prüfer, der laut Team gut mit menschlichen Experten übereinstimmt; trotzdem benotet hier ein Modell ein Modell. Die fünf Kooperationen wurden von Experten gelenkt, sodass sich der Beitrag des Systems schwer von dem der steuernden Forschenden trennen lässt, und zwei starke Reaktionsergebnisse sagen nichts darüber, wie oft seine Vorschläge scheitern. Als Preprint ist nichts davon begutachtet, und die Autoren nennen keine Zahl zu den Rechenkosten pro Lauf.

Unser Fazit: Die Laborergebnisse zählen mehr als der Benchmark, den dasselbe Team gebaut hat. Fünf von Fachleuten begleitete Kooperationen sind vielversprechend, zeigen aber auch, dass Menschen weiter das Steuer halten.

Quelle: arXiv (Hugging Face Daily Papers)

Weitere Artikel