Was ist ShinkaEvolve?
ShinkaEvolve ist ein Open-Source-Framework von Sakana AI, das Code durch Evolution verbessert. Du lieferst ein Startprogramm und einen Evaluator, der es bewertet; ein Ensemble von LLMs schlägt Änderungen vor, der Evaluator bewertet jeden Kandidaten, und die besten überleben über Generationen und getrennte Inseln von Programmen hinweg. Ein Bandit wählt aus, welches Modell für jede Mutation aufgerufen wird, und ein Neuheitsfilter vermeidet, dass für die Bewertung fast identischer Kandidaten bezahlt wird. Inspiriert ist es von Google DeepMinds AlphaEvolve, das nicht Open Source ist, sowie von Sakanas eigenem AI Scientist und der Darwin Gödel Machine.
Zu Sakanas Ergebnissen zum Start gehören eine neue Bestlösung für das Packen von 26 Kreisen, gefunden in 150 Samples, ein AIME-Agentengerüst, das in 75 Generationen entwickelt wurde, ein durchschnittlicher Zugewinn von 2,3 % bei Programmieraufgaben aus ALE-Bench und eine Load-Balancing-Loss für Mixture-of-Experts, die nach 30 Generationen die von DeepSeek übertraf. Das Paper wurde für die ICLR 2026 angenommen, und das Framework unterstützte das Team, das den ICFP Programming Contest 2025 gewann.
Der Code steht unter Apache 2.0 und ist auf PyPI als shinka-evolve verfügbar; das jüngste Release ist v0.0.7 vom 2. Juni 2026, und der letzte Commit war am 5. Oktober 2026. Es hat rund 1.480 GitHub-Sterne.
Lohnt sich ShinkaEvolve?
ShinkaEvolve ist die stärkste Open-Source-Wahl für LLM-gesteuerte Programmsuche, und sein Verkaufsargument ist die Sample-Effizienz. Frühere evolutionäre Ansätze brauchten oft Tausende LLM-Aufrufe pro Problem; Sakanas Vorzeigeergebnis ist eine neue Bestlösung für das Packen von 26 Kreisen in 150 Samples, erreicht durch Rejection Sampling fast identischer Kandidaten, einen Bandit, der Aufrufe zu dem Modell verlagert, das sich gerade verbessert, und Inseln, die ein Archiv guter Lösungen teilen. Das sind Sakanas eigene Experimente, aber die Annahme bei der ICLR 2026 und der Sieg beim ICFP-Wettbewerb 2025 geben ihnen mehr Rückhalt von außen, als die meisten Behauptungen zu Frameworks bekommen.
Es passt zu einer schmalen und wertvollen Art von Problem: einem Programm mit automatischem Prüfer und einer Zahl, die besser werden soll. Die mitgelieferten Beispiele umfassen Kreispackungen, eine Strategie für 2048, Solver in Julia, Fortran und Wolfram sowie Verilog-Designs, bewertet nach Leistungsaufnahme, Performance und Fläche. Es ist kein allgemeiner Coding-Agent und tut ohne einen Evaluator, dem du vertraust, nichts Nützliches; ein schwacher Evaluator wird ausgetrickst.
Das Projekt ist 2026 schnell gereift: ein einheitlicher ShinkaEvolveRunner im März (der die alten Runner-Klassen ersetzte, Code von 2025 muss also angepasst werden), Pakete auf PyPI, eine Dokumentationsseite im April, Agent Skills für Claude Code und Codex und im Mai Unterstützung für Headless CLI, um Mutationen über ein Claude- oder ChatGPT-Abo statt über API-Abrechnung laufen zu lassen. Die Versionen sind noch 0.0.x, rechne also mit weiteren inkompatiblen Änderungen.
Die Sicherheit bleibt dir überlassen. Jeder Kandidat ist von einem LLM geschriebener Code, den dein Evaluator ausführt, standardmäßig direkt auf dem Host oder auf einem Slurm-Cluster, und die Einstiegsanleitung sagt nichts über Sandboxing. Slurm-Docker-Jobs sorgen auf einem Cluster für Isolation; auf einer Workstation lass es in einem Container laufen. Das Standard-Embedding-Modell ist OpenAIs text-embedding-3-small, Code-Embeddings verlassen also deinen Rechner, sofern du es nicht auf einen lokalen Endpunkt richtest.
Wo es sich lohnt
Ein Operations-Research-Engineer mit einer Scheduling-Heuristik
Den Score der Heuristik auf einem festen Benchmark-Set verbessern
Verpack den Benchmark als evaluate.py, setz max_api_costs als Ausgabenobergrenze und lass ein paar Dutzend Generationen laufen. Sakanas Läufe mit ALE-Bench erzielten im Schnitt 2,3 % Zugewinn gegenüber starken Baselines.
Ein Hardware-Team, das Verilog-Blöcke optimiert
Nach RTL suchen, das bei fester Spezifikation Leistungsaufnahme und Fläche senkt
Starte mit dem Beispiel RTLLM, das iverilog, yosys und OpenSTA braucht, und lass Kandidaten nach Leistungsaufnahme, Performance und Fläche bewerten. Führe Evaluierungen in Slurm-Docker-Jobs aus, um generierten Code einzudämmen.
Eine ML-Forscherin mit Claude-Abo und ohne API-Budget
Eine Variante einer Trainings-Loss ohne Abrechnung pro Token weiterentwickeln
Nutze Modell-Strings der Form headless/claude, damit Mutationen über das Abo laufen, wie Sakanas Beispiel sine_approx_headless zeigt. Sakanas Ergebnis zur MoE-Loss kam nach 30 Generationen.
Bevor du dich festlegst
- Einrichtung
- pip install shinka-evolve (Python 3.10 oder neuer, 3.11 empfohlen), Anbieter-Keys in .env eintragen, dann shinka_launch variant=circle_packing_example; die Kreispackungsaufgabe ist der dokumentierte erste Lauf.
- Integrationen
- Modelle von OpenAI, Anthropic, Gemini und OpenRouter, jeder lokale OpenAI-kompatible Endpunkt (etwa ein lokaler Ollama-Server), Headless CLI für Claude- und Codex-Abos, Slurm (Conda oder Docker), eine WebUI, Weights & Biases sowie Agent Skills für Claude Code und Codex.
- Daten und Datenschutz
- Code und Prompts gehen an die LLM-Anbieter, die du konfigurierst, und standardmäßig für Embeddings an OpenAI. Läufe werden in einer lokalen SQLite-Datenbank gespeichert. Ist Logging über W&B aktiviert, lädt es eine freigegebene Auswahl an Metriken hoch, keinen Code. Apache 2.0 setzt der kommerziellen Nutzung keine Grenzen.
- Kosten im großen Maßstab
- Die Kosten sind deine LLM-Aufrufe plus die Rechenleistung des Evaluators; Sakana veröffentlicht keine Dollarbeträge. Der asynchrone Runner, laut Sakana 5- bis 10-mal schneller, erhöht Durchsatz und Ausgaben gleichermaßen, setze bei langen Läufen also max_api_costs.
- Grenzen
- Nur nützlich, wo es einen automatischen Evaluator gibt. Keine Sandbox für evaluierten Code bei lokalen Läufen. Version 0.0.7, mit 14 offenen Issues und Pull Requests und API-Änderungen im Lauf des Jahres 2026.
Was gut ist
- Sample-effizient: laut Sakana neue Bestlösung für 26 Kreise in 150 Samples
- Modell-Ensemble mit Bandit-Auswahl und kostenbewusster Gewichtung
- Läuft lokal oder auf Slurm, mit WebUI und Logging über W&B
- Feste Budgetobergrenze in USD über max_api_costs
- Apache 2.0, auf PyPI, Paper bei der ICLR 2026
Was nicht
- Führt von LLMs geschriebenen Code ohne eingebaute Sandbox aus
- Braucht einen verlässlichen automatischen Evaluator, um nützlich zu sein
- Vor 1.0; das Runner-Refactoring vom März 2026 hat älteren Code gebrochen
- Embeddings laufen standardmäßig über OpenAI, sofern nicht anders konfiguriert
- Holt beim Start aktuelle Modellpreise von models.dev, sofern nicht auf offline gestellt
Am besten für
Forschende und Performance-Engineers, die ein bewertetes Programm haben, etwa eine Heuristik, einen Kernel oder einen Solver, und mit einem festen Budget von LLMs nach besseren Versionen suchen lassen wollen.
Alternativen zu ShinkaEvolve
ShinkaEvolve: häufige Fragen
- Lohnt sich ShinkaEvolve?
- Wer ein Programm und eine Kennzahl hat, die steigen soll, findet hier die offene Alternative zu AlphaEvolve, mit der man anfangen sollte, sofern der von ihr geschriebene Code in einer Sandbox läuft. Wir bewerten es mit 4.1 von 5.
- Was kostet ShinkaEvolve?
- Kostenlos unter Apache 2.0. Du bezahlst die LLM-Aufrufe (oder ein Claude- oder ChatGPT-Abo über Headless) und die Rechenleistung, auf der dein Evaluator läuft.
- Welche Nachteile hat ShinkaEvolve?
- Führt von LLMs geschriebenen Code ohne eingebaute Sandbox aus; Braucht einen verlässlichen automatischen Evaluator, um nützlich zu sein; Vor 1.0; das Runner-Refactoring vom März 2026 hat älteren Code gebrochen; Embeddings laufen standardmäßig über OpenAI, sofern nicht anders konfiguriert; Holt beim Start aktuelle Modellpreise von models.dev, sofern nicht auf offline gestellt.
- Für wen eignet sich ShinkaEvolve?
- Forschende und Performance-Engineers, die ein bewertetes Programm haben, etwa eine Heuristik, einen Kernel oder einen Solver, und mit einem festen Budget von LLMs nach besseren Versionen suchen lassen wollen.
- Was kostet ShinkaEvolve für ein Team oder im Produktivbetrieb?
- Die Kosten sind deine LLM-Aufrufe plus die Rechenleistung des Evaluators; Sakana veröffentlicht keine Dollarbeträge. Der asynchrone Runner, laut Sakana 5- bis 10-mal schneller, erhöht Durchsatz und Ausgaben gleichermaßen, setze bei langen Läufen also max_api_costs.
- Ist ShinkaEvolve sicher für Firmendaten?
- Code und Prompts gehen an die LLM-Anbieter, die du konfigurierst, und standardmäßig für Embeddings an OpenAI. Läufe werden in einer lokalen SQLite-Datenbank gespeichert. Ist Logging über W&B aktiviert, lädt es eine freigegebene Auswahl an Metriken hoch, keinen Code. Apache 2.0 setzt der kommerziellen Nutzung keine Grenzen.
- Was sind die besten Alternativen zu ShinkaEvolve?
- Die nächsten Alternativen, die wir getestet haben, sind The AI Scientist (v1, v2 and v3), TreeQuest, OpenHands und mini-swe-agent.
Antworten geprüft am 26. Okt. 2026.