Was ist The AI Scientist (v1, v2 and v3)?
The AI Scientist ist Sakana AIs Reihe von Systemen, die eine Forschungsrichtung aufnehmen und mit wenig oder gar keiner menschlichen Hilfe Experimente und ein ausformuliertes Paper liefern. Sie umfasst inzwischen drei Repositories. Das ursprüngliche AI-Scientist (August 2024, rund 14.800 Sterne) arbeitet in von Menschen geschriebenen Code-Vorlagen für NanoGPT, 2D-Diffusion und Grokking: Ein LLM schlägt Ideen vor, bearbeitet die Vorlage, führt die Experimente aus und schreibt ein LaTeX-Paper, und ein LLM-Reviewer bewertet es. AI-Scientist-v2 (April 2025, rund 7.400 Sterne) verzichtet auf die Vorlagen und durchsucht Experimente mit einer agentischen Baumsuche auf Basis von WecoAIs AIDE; Sakana warnt, dass es dort, wo es eine gute Vorlage gibt, seltener Erfolg hat als v1.
AI-Scientist-v3, veröffentlicht am 11. Oktober 2026 und zuletzt am 18. Oktober aktualisiert, ist ein neues Design namens Agentic Scientist. Es steuert bestehende Coding-Agenten (Claude Code, Codex, Cursor, OpenCode, Gemini CLI und Pi) durch sechs Phasen: Aufgabenentwurf, Untersuchung, Ablationen, eine versiegelte Abschlussevaluation, nachträgliche Analyse und das Schreiben des Papers, jede in einem eigenen Docker-Container. Es hat rund 520 Sterne.
v1 und v2 wechselten im Dezember 2025 von Apache 2.0 zur AI Scientist Source Code License 1.0, einem Ableger der Responsible AI License, der rechtlich verlangt, dass du in jedem daraus entstehenden Paper die KI-Erzeugung offenlegst; seit dem 19. Dezember 2025 hat keines von beiden einen Commit erhalten. v3 steht unter Apache 2.0. Keines der drei veröffentlicht Releases.
Lohnt sich The AI Scientist (v1, v2 and v3)?
The AI Scientist ist als Forschungsartefakt wichtiger denn als Werkzeug, und v3 ist die erste Version, die plausibel ein Werkzeug ist. v1 zeigte 2024, dass ein Frontier-Modell innerhalb einer Vorlage für unter 15 $ von der Idee zum formatierten Paper kommen kann; v2 entfernte die Vorlage und brachte das Paper hervor, das bei einem Workshop der ICLR 2025 das Peer Review bestand; das Nature-Paper vom März 2026 formalisierte die Pipeline und berichtete, dass die Qualität der Paper mit dem zugrunde liegenden Modell steigt. v3 ändert die Prämisse: Statt eines Modells, das alles schreibt, umhüllt es kommerzielle Coding-Agenten mit Rubrik-Prüfungen, parallelen Workern und einem Audit-Trail, und Sakana beschreibt es als gemeinsame Entdeckung, bei der ein Mensch die Frage stellt.
Die Schlagzeilen brauchen ihren Kontext. Beim ICBINB-Workshop reichte Sakana drei v2-Paper unter 43 Einreichungen ein; eines erhielt 6, 7 und 6 Punkte (im Schnitt 6,33) und wurde wie geplant vor der Veröffentlichung zurückgezogen, zwei wurden abgelehnt, und Sakanas eigenes Review fand keines gut genug für die Hauptkonferenz und vermerkte Zitierfehler wie die Zuschreibung von LSTMs an Goodfellow (2016). Eine unabhängige Evaluation von Joeran Beel, Min-Yen Kan und Moritz Baumgart, erschienen im SIGIR Forum, ergab, dass 5 von 12 vorgeschlagenen Experimenten (42%) an Programmierfehlern scheiterten, dass die Neuheitsprüfung bekannte Ideen wie Micro-Batching für SGD als neu einstufte, dass die Paper im Median fünf überwiegend alte Zitate hatten und mehrere Manuskripte erfundene Zahlen enthielten. Sie verglichen das Ergebnis mit einem unmotivierten Studenten, der kurz vor der Abgabe hetzt, nannten die Autonomie aber einen echten Meilenstein. Das ALIFE-2026-Paper von v3 war ein Co-Scientist-Ergebnis, bei dem Menschen die Frage wählten und jedes Resultat prüften, und die dort gemeldete Steigerung bei Doc-to-LoRA von 52% auf 98% Exact Match ist Sakanas eigene Angabe.
Sicherheit ist eine Designvorgabe, keine Fußnote. Alle drei Versionen führen von LLMs geschriebenen Code aus. v1 und v2 fordern dich auf, selbst zu containerisieren und den Webzugriff einzuschränken; v1 stützt sich auf ein von der Community beigesteuertes Dockerfile. v3 führt jede Phase standardmäßig in Docker aus, aber seine Agenten laufen mit vollen Tool-Rechten (Headless --allow yolo), können die API-Schlüssel lesen, die du einbindest, und lassen sich von den Aufgabendateien und Papern steuern, die sie lesen.
Die Kosten pro Lauf sind bescheiden und summieren sich über eine Suche. Sakanas FAQs beziffern v1 auf typischerweise unter 15 $ pro Paper mit Claude 3.5 Sonnet und v2 auf 15 bis 20 $ für Experimente plus etwa 5 $ fürs Schreiben; Beels Team maß 6 bis 15 $ und etwa 3,5 Stunden menschlichen Aufwand pro v1-Paper. v3 protokolliert den Token-Verbrauch pro Phase und Schätzungen zu API-Listenpreisen in einem Kostenbuch und kann statt eines API-Schlüssels ein Claude- oder ChatGPT-Abo belasten; sein GRPO-Beispiel braucht zwei GPUs und trainiert pro Evaluation ein bis zwei Stunden. Wer statt Papern die automatisierte Optimierung eines einzelnen bewerteten Programms will, ist mit ShinkaEvolve aus demselben Labor direkter bedient.
Wo es sich lohnt
Ein ML-Labor mit einer bewerteten Benchmark-Aufgabe und freien GPUs
Coding-Agenten über Nacht Ideen erkunden, Ablationen ausführen und einen Bericht entwerfen lassen
agsci run von v3 auf ein Aufgabenverzeichnis mit Evaluator richten; es führt Untersuchung, Ablationen und eine versiegelte Evaluation in Docker aus und schreibt ein Paper. Rechne damit, jede Aussage zu prüfen, denn auch Sakanas eigenes ALIFE-Paper wurde von Menschen geprüft.
Eine Forscherin, die KI-generierte Wissenschaft untersucht
Einen Korpus maschinell geschriebener Paper für die Analyse erzeugen
v1 mit seinen Vorlagen für NanoGPT, 2D-Diffusion oder Grokking laufen lassen, typischerweise für unter 15 $ pro Paper. Die Lizenz verlangt, dass jedes daraus entstehende Manuskript offenlegt, dass KI es erzeugt hat.
Ein Universitätskurs zu Forschungsmethoden
Studierenden zeigen, was automatisierte Forschung falsch macht
Ausgaben von v1 oder v2 als Review-Übung mit der Evaluation von Beel et al. kombinieren, die gescheiterte Experimente, schwache Neuheitsprüfungen und erfundene Zahlen dokumentiert.
Bevor du dich festlegst
- Einrichtung
- v1/v2: conda mit Python 3.11, PyTorch mit CUDA unter Linux und NVIDIA-GPUs, LaTeX-Tools (texlive-full für v1), API-Schlüssel; die Installation von v2 dauert meist unter einer Stunde. v3: Docker plus uv sync, das Agenten-Image bauen, Schlüssel in .env ablegen, dann läuft agsci run examples/circpack nur auf der CPU mit einem Claude-Login.
- Integrationen
- v1: OpenAI, Anthropic (direkt, Bedrock, Vertex), DeepSeek, OpenRouter und Gemini, mit Semantic Scholar oder OpenAlex für die Literatursuche. v3: Coding-Agenten über Headless CLI, eine optionale Reviewer-Phase auf Basis von OpenAI, ein Browser-Inspektor für Läufe auf Port 8765 und Autoillustrate für Abbildungen.
- Daten und Datenschutz
- Prompts und Code gehen an den LLM-Anbieter, den du konfigurierst; Literaturanfragen gehen an Semantic Scholar oder OpenAlex. v3 reicht nur die Schlüssel des gewählten Agenten in seine Container weiter, und Sakana warnt, dass Agenten-Logs Dokumentinhalte wiedergeben können. Die Lizenz von v1/v2 untersagt Überwachung, manche Anwendungen in Gesundheit und Kriminalitätsvorhersage sowie KI-Paper ohne Offenlegung.
- Kosten im großen Maßstab
- Sakanas Zahlen: v1 typischerweise unter 15 $ pro Paper mit Claude 3.5 Sonnet; v2 15 bis 20 $ pro Experimentlauf plus etwa 5 $ fürs Schreiben. Ein Durchlauf mit 50 Ideen auf v2 kommt damit auf etwa 1.000 bis 1.250 $ an API-Gebühren, vor GPU-Zeit.
- Grenzen
- Nur rechnergestützte Experimente. v2 hat seltener Erfolg als v1, wenn es eine starke Vorlage gibt. Der Aufgabenentwurf aus einer bloßen Kurzbeschreibung ist in v3 experimentell, die Literatursuche findet erst beim Schreiben statt, und die Baselines sind meist Varianten seines eigenen Programms.
Was gut ist
- Drei Generationen einer gut dokumentierten Pipeline für automatisierte Forschung
- v3 steuert Claude Code, Codex, Cursor, OpenCode, Gemini CLI und Pi austauschbar
- v3 führt jede Phase standardmäßig in Docker aus, mit vollständigem Audit-Trail
- Niedrige Kosten pro Paper nach Sakanas Zahlen (15 bis 25 $ für v2)
- Offene Warnungen im README zur Ausführung von LLM-geschriebenem Code
Was nicht
- Erzeugte Paper enthalten Zitierfehler, gescheiterte Experimente und erfundene Zahlen (unabhängige Evaluation)
- v1 und v2 brauchen Linux, NVIDIA-GPUs und texlive; keine Commits seit Dezember 2025
- Die Agenten von v3 laufen mit vollen Rechten und lassen sich über Eingaben steuern
- Die Lizenz von v1 und v2 schränkt Nutzungen ein und verlangt die Offenlegung von KI in Papern
- Ergebnisse beschränkt auf rechnergestützte ML-Experimente
Am besten für
ML-Forschungsgruppen, die automatisiertes Experimentieren untersuchen oder nutzen, Agentenläufe in einer Sandbox isolieren können und jedes Ergebnis vor der Veröffentlichung prüfen.
Alternativen zu The AI Scientist (v1, v2 and v3)
The AI Scientist (v1, v2 and v3): häufige Fragen
- Lohnt sich The AI Scientist (v1, v2 and v3)?
- Das Referenzprojekt für automatisierte ML-Forschung und inzwischen ein brauchbares Gerüst für Coding-Agenten, aber seine Paper brauchen weiterhin einen Menschen, der Fehler findet, und jeder Lauf führt Code aus, den ein LLM geschrieben hat. Wir bewerten es mit 3.9 von 5.
- Was kostet The AI Scientist (v1, v2 and v3)?
- Kostenlos. v1 und v2 unter der AI Scientist Source Code License 1.0 (Nutzungsbeschränkungen und Pflicht zur Offenlegung von KI); v3 unter Apache 2.0. Du zahlst für LLM-API-Aufrufe oder Abos und GPUs.
- Welche Nachteile hat The AI Scientist (v1, v2 and v3)?
- Erzeugte Paper enthalten Zitierfehler, gescheiterte Experimente und erfundene Zahlen (unabhängige Evaluation); v1 und v2 brauchen Linux, NVIDIA-GPUs und texlive; keine Commits seit Dezember 2025; Die Agenten von v3 laufen mit vollen Rechten und lassen sich über Eingaben steuern; Die Lizenz von v1 und v2 schränkt Nutzungen ein und verlangt die Offenlegung von KI in Papern; Ergebnisse beschränkt auf rechnergestützte ML-Experimente.
- Für wen eignet sich The AI Scientist (v1, v2 and v3)?
- ML-Forschungsgruppen, die automatisiertes Experimentieren untersuchen oder nutzen, Agentenläufe in einer Sandbox isolieren können und jedes Ergebnis vor der Veröffentlichung prüfen.
- Was kostet The AI Scientist (v1, v2 and v3) für ein Team oder im Produktivbetrieb?
- Sakanas Zahlen: v1 typischerweise unter 15 $ pro Paper mit Claude 3.5 Sonnet; v2 15 bis 20 $ pro Experimentlauf plus etwa 5 $ fürs Schreiben. Ein Durchlauf mit 50 Ideen auf v2 kommt damit auf etwa 1.000 bis 1.250 $ an API-Gebühren, vor GPU-Zeit.
- Ist The AI Scientist (v1, v2 and v3) sicher für Firmendaten?
- Prompts und Code gehen an den LLM-Anbieter, den du konfigurierst; Literaturanfragen gehen an Semantic Scholar oder OpenAlex. v3 reicht nur die Schlüssel des gewählten Agenten in seine Container weiter, und Sakana warnt, dass Agenten-Logs Dokumentinhalte wiedergeben können. Die Lizenz von v1/v2 untersagt Überwachung, manche Anwendungen in Gesundheit und Kriminalitätsvorhersage sowie KI-Paper ohne Offenlegung.
- Was sind die besten Alternativen zu The AI Scientist (v1, v2 and v3)?
- Die nächsten Alternativen, die wir getestet haben, sind ShinkaEvolve, OpenHands, TreeQuest und mini-swe-agent.
Antworten geprüft am 26. Okt. 2026.