Was ist TreeQuest?
TreeQuest ist eine Open-Source-Python-Bibliothek von Sakana AI, die Adaptive Branching Monte Carlo Tree Search (AB-MCTS) implementiert, eine Methode für Skalierung zur Inferenzzeit: Statt ein Modell einmal zu fragen, lässt du eine Suche Aufruf für Aufruf entscheiden, ob eine neue Antwort versucht oder eine vielversprechende verfeinert wird. Das zugrunde liegende Paper war ein Spotlight auf der NeurIPS 2025, und laut Sakana stützt sich auch sein Forschungsagent Marlin auf dieselbe Methode.
Du schreibst eine Funktion, die einen Elternzustand annimmt und einen neuen Zustand mit einem Score zwischen 0 und 1 zurückgibt, meist indem sie ein LLM aufruft und das Ergebnis bewertet. TreeQuest entscheidet, welcher Knoten als Nächstes erweitert wird. Mitgeliefert werden AB-MCTS-A, AB-MCTS-M und ein Multi-LLM-Modus, der auch wählt, welches Modell aufgerufen wird, dazu Checkpointing, eine gebündelte Ask-Tell-Schnittstelle und eine HTML-Visualisierung des Baums.
Die Bibliothek steht unter Apache 2.0, liegt auf PyPI als treequest und braucht Python 3.11 oder neuer. Das neueste Release ist v0.3.3 vom 16. Oktober 2026; das Repository hat rund 570 Sterne und drei Mitwirkende.
Lohnt sich TreeQuest?
TreeQuest ist eine gute Bibliothek mit engem Auftrag. Sie ruft keine Modelle auf, parst keine Ausgaben und verwaltet keine Prompts; sie entscheidet, wohin der nächste Aufruf geht. Dadurch lässt sie sich leicht in eine bestehende Pipeline einsetzen, was ihr Hauptvorteil gegenüber selbst geschriebenem MCTS ist, und deshalb passt der Quick Start im README auf eine Bildschirmseite.
Das bekannteste Ergebnis der Methode zeigt ihr Versprechen und ihren Haken zugleich. Auf 120 öffentlichen ARC-AGI-2-Aufgaben mit einem Budget von 250 Aufrufen meldet Sakana, dass o4-mini mit wiederholtem Sampling 23% löste, o4-mini mit AB-MCTS 27,5% und Multi-LLM-AB-MCTS mit o4-mini, Gemini 2.5 Pro und DeepSeek-R1 über 30%. Der Spitzenwert ist Pass@250, eine Aufgabe zählt also als gelöst, wenn irgendein Versuch richtig war. Unter der Wettbewerbsregel mit zwei Antworten fiel er auf 19,2%, und Sakana bezeichnet die Auswahl der Antwort als ungelöst. TreeQuest findet gute Kandidaten; welcher davon richtig ist, sagt es dir nur, wenn deine Bewertungsfunktion das kann.
Die Qualität eines TreeQuest-Laufs ist also die Qualität seines Bewerters. Wo du einen Verifizierer hast (Unit-Tests, Demonstrationsbeispiele, ein numerisches Ziel), ist es ein solider Weg, mehr Budget in bessere Antworten zu verwandeln. Wo du nur ein LLM als Richter hast, optimiert die Suche auf das, was dem Richter gefällt.
Das Projekt ist klein und wird gepflegt: Releases etwa alle ein bis drei Monate seit 2025, null offene Issues und drei Mitwirkende, die Kontinuität hängt also an Sakana. Das README warnt, dass AB-MCTS-M-Schritte langsam sein können und große Batches den Baum verzerren; es empfiehlt eine Batch-Größe von fünf oder weniger. Um ganze Programme über viele Generationen weiterzuentwickeln, eignet sich Sakanas ShinkaEvolve besser.
Wo es sich lohnt
Ein Engineer, der Code gegen eine Unit-Test-Suite generiert
Die Erfolgsquote bei schweren Aufgaben steigern, indem nur dort mehr Aufrufe fließen, wo es nötig ist
Jeden Kandidaten nach dem Anteil bestandener Tests bewerten und AB-MCTS zwischen neuen Entwürfen und Verfeinerungen wählen lassen. Sakanas ARC-AGI-2-Läufe begrenzten den Aufwand auf 250 Aufrufe pro Aufgabe.
Ein Team mit Zugang zu mehreren Modell-APIs
Modelle kombinieren, sodass der Beinahe-Treffer des einen zum Ausgangspunkt des anderen wird
Eine generate-Funktion pro Modell registrieren und Multi-LLM-AB-MCTS nutzen; bei ARC-AGI-2 beobachtete Sakana, wie DeepSeek-R1 und Gemini falsche Antworten von o4-mini korrigierten.
Eine Forscherin, die Methoden zur Skalierung zur Inferenzzeit vergleicht
Baumsuche gegen Best-of-N-Sampling benchmarken
AB-MCTS-A und einfaches wiederholtes Sampling mit demselben Budget laufen lassen und dann beide Bäume als HTML rendern, um ihre Form zu vergleichen.
Bevor du dich festlegst
- Einrichtung
- pip install "treequest[all]" oder uv add "treequest[all]" unter Python 3.11 oder neuer; der Quick Start im README führt in wenigen Zeilen eine Suche mit 10 Schritten aus.
- Integrationen
- Modellunabhängig: Du rufst in deiner eigenen generate-Funktion jedes beliebige LLM auf. Optionale Extras bringen Abhängigkeiten für AB-MCTS-M und die Visualisierung; Suchbäume lassen sich per Checkpoint sichern und als HTML rendern.
- Daten und Datenschutz
- TreeQuest selbst macht keine Netzwerkaufrufe; was deine generate-Funktion an einen LLM-Anbieter schickt, sind die einzigen Daten, die deinen Rechner verlassen. Apache 2.0 setzt der kommerziellen Nutzung keine Grenzen.
- Kosten im großen Maßstab
- Die Ausgaben entsprechen der Zahl der Suchschritte mal den Kosten jedes Generieren-und-Bewerten-Aufrufs; bei 250 Aufrufen pro Aufgabe, wie in Sakanas ARC-AGI-2-Läufen, ergibt sich das Budget direkt aus dem Preis pro Aufruf deines Modells.
- Grenzen
- Keine Auswahl der finalen Antwort über top_k nach Score hinaus. AB-MCTS-M ist pro Schritt langsam; laut README machen Batch-Größen über fünf den Baum zu breit.
Was gut ist
- Kleine API: eine generate-Funktion, die (state, score) zurückgibt
- AB-MCTS-A, AB-MCTS-M und Multi-LLM-Suche in einem Paket
- Checkpointing und Fortsetzen für lange Läufe, die auf API-Fehler stoßen
- Gebündelte Ask-Tell-Schnittstelle für parallele Aufrufe
- Apache 2.0, regelmäßige Releases, Methode auf der NeurIPS 2025 veröffentlicht
Was nicht
- Ergebnisse hängen vollständig von deiner Bewertungsfunktion ab
- Keine Hilfe bei der Wahl der finalen Antwort: ARC-AGI-2 Pass@2 lag bei 19,2% gegenüber über 30% Pass@250
- AB-MCTS-M-Schritte können langsam sein
- Große Batch-Größen verzerren den Suchbaum
- Drei Mitwirkende; kleine Community
Am besten für
Engineers, die bereits einen Verifizierer für Modellausgaben haben und einen erprobten Suchalgorithmus wollen, der ein größeres Aufrufbudget in bessere Antworten verwandelt.
Alternativen zu TreeQuest
TreeQuest: häufige Fragen
- Lohnt sich TreeQuest?
- Eine saubere, minimale Implementierung einer angesehenen Suchmethode, die genau eine Aufgabe erledigt und die schwierigen Teile, das Bewerten und die Wahl der finalen Antwort, dir überlässt. Wir bewerten es mit 3.8 von 5.
- Was kostet TreeQuest?
- Kostenlos unter Apache 2.0. Kosten entstehen durch die LLM-Aufrufe deiner Generierungs- und Bewertungsfunktionen.
- Welche Nachteile hat TreeQuest?
- Ergebnisse hängen vollständig von deiner Bewertungsfunktion ab; Keine Hilfe bei der Wahl der finalen Antwort: ARC-AGI-2 Pass@2 lag bei 19,2% gegenüber über 30% Pass@250; AB-MCTS-M-Schritte können langsam sein; Große Batch-Größen verzerren den Suchbaum; Drei Mitwirkende; kleine Community.
- Für wen eignet sich TreeQuest?
- Engineers, die bereits einen Verifizierer für Modellausgaben haben und einen erprobten Suchalgorithmus wollen, der ein größeres Aufrufbudget in bessere Antworten verwandelt.
- Was kostet TreeQuest für ein Team oder im Produktivbetrieb?
- Die Ausgaben entsprechen der Zahl der Suchschritte mal den Kosten jedes Generieren-und-Bewerten-Aufrufs; bei 250 Aufrufen pro Aufgabe, wie in Sakanas ARC-AGI-2-Läufen, ergibt sich das Budget direkt aus dem Preis pro Aufruf deines Modells.
- Ist TreeQuest sicher für Firmendaten?
- TreeQuest selbst macht keine Netzwerkaufrufe; was deine generate-Funktion an einen LLM-Anbieter schickt, sind die einzigen Daten, die deinen Rechner verlassen. Apache 2.0 setzt der kommerziellen Nutzung keine Grenzen.
- Was sind die besten Alternativen zu TreeQuest?
- Die nächsten Alternativen, die wir getestet haben, sind ShinkaEvolve, The AI Scientist (v1, v2 and v3) und LangGraph.
Antworten geprüft am 26. Okt. 2026.