Qu’est-ce que ShinkaEvolve ?
ShinkaEvolve est un framework open source de Sakana AI pour améliorer le code par évolution. Vous fournissez un programme de départ et un évaluateur qui le note ; un ensemble de LLM propose des éditions, l'évaluateur note chaque candidat, et les meilleurs survivent à travers les générations et des îlots de programmes séparés. Un bandit choisit quel modèle appeler pour chaque mutation, et le filtrage de nouveauté évite de payer pour évaluer des quasi-doublons. Il est inspiré d'AlphaEvolve de Google DeepMind, qui n'est pas open source, et de l'AI Scientist et de la Darwin Gödel Machine de Sakana.
Les résultats de lancement de Sakana incluent un nouveau meilleur empilement de 26 cercles trouvé en 150 échantillons, un échafaudage d'agent AIME évolué en 75 générations, un gain moyen de 2,3 % sur les tâches de programmation ALE-Bench, et une perte d'équilibrage de charge à mélange d'experts qui a battu celle de DeepSeek après 30 générations. L'article a été accepté à ICLR 2026, et le framework a soutenu l'équipe qui a gagné le ICFP 2025 Programming Contest.
Le code est Apache 2.0 et sur PyPI sous shinka-evolve ; la dernière version est v0.0.7 du 2 juin 2026 et le dernier commit était le 5 octobre 2026. Il a environ 1 480 étoiles GitHub.
ShinkaEvolve vaut-il le coup ?
ShinkaEvolve est le plus solide choix open source pour la recherche de programmes pilotée par LLM, et son argument de vente est l'efficacité en échantillons. Les approches évolutionnaires antérieures avaient souvent besoin de milliers d'appels LLM par problème ; le résultat phare de Sakana est un nouveau meilleur empilement de 26 cercles en 150 échantillons, obtenu par échantillonnage par rejet des candidats quasi-doublons, un bandit qui déplace les appels vers le modèle qui s'améliore, et des îlots qui partagent une archive de bonnes solutions. Ce sont les propres expériences de Sakana, mais l'acceptation à ICLR 2026 et la victoire au concours ICFP 2025 leur donnent plus de soutien externe que la plupart des affirmations de framework n'en reçoivent.
Il convient à une forme de problème étroite et précieuse : un programme avec un vérificateur automatique et un nombre à améliorer. Les exemples livrés couvrent l'empilement de cercles, une politique 2048, des solveurs Julia, Fortran et Wolfram, et des conceptions Verilog notées pour la puissance, la performance et la surface. Ce n'est pas un agent de code général et ne fait rien d'utile sans un évaluateur auquel vous faites confiance ; un évaluateur faible sera contourné.
Le projet a mûri vite en 2026 : un ShinkaEvolveRunner unifié en mars (qui a remplacé les anciennes classes de runner, si bien que le code de 2025 a besoin de changements), l'empaquetage PyPI, un site de documentation en avril, des skills d'agent pour Claude Code et Codex, et en mai la prise en charge Headless CLI pour router les mutations via un abonnement Claude ou ChatGPT au lieu de la facturation par API. Les versions sont encore en 0.0.x, alors attendez-vous à d'autres changements cassants.
La sécurité vous est laissée. Chaque candidat est du code écrit par LLM que votre évaluateur exécute, par défaut directement sur l'hôte ou sur un cluster Slurm, et le guide de démarrage ne dit rien sur la mise en bac à sable. Les travaux Slurm Docker donnent l'isolation sur un cluster ; sur un poste de travail, faites-le tourner dans un conteneur. Le modèle d'embedding par défaut est text-embedding-3-small d'OpenAI, si bien que les embeddings de code quittent votre machine sauf si vous le pointez vers un endpoint local.
Là où il fait la différence
Un ingénieur en recherche opérationnelle avec une heuristique d'ordonnancement
Améliorer le score de l'heuristique sur un ensemble de benchmark fixe
Enveloppez le benchmark comme evaluate.py, réglez max_api_costs pour plafonner la dépense, et lancez quelques dizaines de générations. Les exécutions ALE-Bench de Sakana ont fait en moyenne un gain de 2,3 % sur de fortes bases.
Une équipe matérielle qui optimise des blocs Verilog
Chercher du RTL qui réduit la puissance et la surface sous une spec fixe
Partez de l'exemple RTLLM, qui a besoin d'iverilog, yosys et OpenSTA, et laissez les candidats être notés sur la puissance, la performance et la surface. Lancez les évaluations dans des travaux Slurm Docker pour contenir le code généré.
Un chercheur ML avec un abonnement Claude et sans budget d'API
Évoluer une variante de perte d'entraînement sans facturation par token
Utilisez des chaînes de modèle headless/claude pour que les mutations tournent via l'abonnement, comme le montre l'exemple sine_approx_headless de Sakana. Le résultat de perte MoE de Sakana est venu après 30 générations.
Avant de vous engager
- Mise en route
- pip install shinka-evolve (Python 3.10 ou plus récent, 3.11 recommandé), ajoutez les clés de fournisseurs à .env, puis shinka_launch variant=circle_packing_example ; la tâche d'empilement de cercles est la première exécution documentée.
- Intégrations
- Modèles OpenAI, Anthropic, Gemini et OpenRouter, n'importe quel endpoint local compatible OpenAI (comme un serveur Ollama local), Headless CLI pour les abonnements Claude et Codex, Slurm (Conda ou Docker), une WebUI, Weights & Biases, et des skills d'agent pour Claude Code et Codex.
- Données et confidentialité
- Le code et les prompts vont aux fournisseurs de LLM que vous configurez, et à OpenAI pour les embeddings par défaut. Les exécutions sont stockées dans une base SQLite locale. La journalisation W&B, si activée, téléverse un ensemble de métriques sur liste blanche plutôt que du code. Apache 2.0 ne met aucune limite sur l'usage commercial.
- Coût à grande échelle
- Le coût est vos appels LLM plus le calcul de l'évaluateur ; Sakana ne publie aucun chiffre en dollars. Le runner asynchrone, que Sakana dit 5 à 10 fois plus rapide, augmente le débit et la dépense ensemble, alors réglez max_api_costs sur les longues exécutions.
- Limites
- Utile seulement là où un évaluateur automatique existe. Pas de bac à sable pour le code évalué sur les exécutions locales. Version 0.0.7, avec 14 issues et pull requests ouvertes et des changements d'API pendant 2026.
Les points forts
- Efficace en échantillons : nouveau meilleur empilement de 26 cercles en 150 échantillons, selon Sakana
- Ensemble de modèles avec sélection par bandit et pondération consciente du coût
- Tourne localement ou sur Slurm, avec une WebUI et la journalisation W&B
- Plafond de budget strict en USD via max_api_costs
- Apache 2.0, sur PyPI, article ICLR 2026
Les points faibles
- Exécute du code écrit par LLM sans bac à sable intégré
- A besoin d'un évaluateur automatique fiable pour être utile
- Pré-1.0 ; le refactoring du runner de mars 2026 a cassé le code plus ancien
- Les embeddings basculent par défaut sur OpenAI sauf configuration contraire
- Récupère les prix de modèles en direct depuis models.dev au démarrage sauf réglage hors ligne
Idéal pour
Les chercheurs et ingénieurs de performance qui ont un programme noté, comme une heuristique, un kernel ou un solveur, et veulent que des LLM cherchent de meilleures versions dans un budget fixe.
Alternatives à ShinkaEvolve
ShinkaEvolve : questions fréquentes
- ShinkaEvolve vaut-il le coup ?
- Pour quiconque a un programme et un score à faire monter, c'est l'alternative ouverte à AlphaEvolve par laquelle commencer, à condition de mettre le code qu'il écrit en bac à sable. Nous lui donnons 4.1 sur 5.
- Combien coûte ShinkaEvolve ?
- Gratuit sous Apache 2.0. Vous payez les appels LLM (ou un abonnement Claude ou ChatGPT via Headless) et le calcul qui fait tourner votre évaluateur.
- Quels sont les inconvénients de ShinkaEvolve ?
- Exécute du code écrit par LLM sans bac à sable intégré; a besoin d'un évaluateur automatique fiable pour être utile; pré-1.0 ; le refactoring du runner de mars 2026 a cassé le code plus ancien; les embeddings basculent par défaut sur OpenAI sauf configuration contraire; récupère les prix de modèles en direct depuis models.dev au démarrage sauf réglage hors ligne.
- À qui s’adresse ShinkaEvolve ?
- Les chercheurs et ingénieurs de performance qui ont un programme noté, comme une heuristique, un kernel ou un solveur, et veulent que des LLM cherchent de meilleures versions dans un budget fixe.
- Combien coûte ShinkaEvolve pour une équipe ou en production ?
- Le coût est vos appels LLM plus le calcul de l'évaluateur ; Sakana ne publie aucun chiffre en dollars. Le runner asynchrone, que Sakana dit 5 à 10 fois plus rapide, augmente le débit et la dépense ensemble, alors réglez max_api_costs sur les longues exécutions.
- ShinkaEvolve est-il sûr pour les données de l’entreprise ?
- Le code et les prompts vont aux fournisseurs de LLM que vous configurez, et à OpenAI pour les embeddings par défaut. Les exécutions sont stockées dans une base SQLite locale. La journalisation W&B, si activée, téléverse un ensemble de métriques sur liste blanche plutôt que du code. Apache 2.0 ne met aucune limite sur l'usage commercial.
- Quelles sont les meilleures alternatives à ShinkaEvolve ?
- Les alternatives les plus proches que nous avons testées sont The AI Scientist (v1, v2 and v3), TreeQuest, OpenHands et mini-swe-agent.
Réponses vérifiées le 26 oct. 2026.