O que é ShinkaEvolve?
O ShinkaEvolve é um framework de código aberto da Sakana AI para melhorar código por evolução. Você fornece um programa inicial e um avaliador que lhe dá uma pontuação; um conjunto de LLMs propõe edições, o avaliador pontua cada candidato, e os melhores sobrevivem ao longo das gerações e em ilhas separadas de programas. Um bandit escolhe qual modelo chamar em cada mutaç ão, e um filtro de novidade evita pagar para avaliar quase duplicatas. Ele se inspira no AlphaEvolve do Google DeepMind, que não é de código aberto, e nos próprios AI Scientist e Darwin Gödel Machine da Sakana.
Os resultados de lançamento da Sakana incluem um novo melhor empacotamento de 26 círculos encontrado em 150 amostras, um scaffold de agente para o AIME evoluído em 75 gerações, um ganho médio de 2,3% em tarefas de programação do ALE-Bench e uma loss de balanceamento de carga para mixture-of-experts que superou a da DeepSeek após 30 gerações. O artigo foi aceito no ICLR 2026, e o framework apoiou a equipe que venceu o ICFP 2025 Programming Contest.
O código é Apache 2.0 e está no PyPI como shinka-evolve; a release mais recente é a v0.0.7, de 2 de junho de 2026, e o último commit foi em 5 de outubro de 2026. Tem cerca de 1.480 estrelas no GitHub.
ShinkaEvolve vale a pena?
O ShinkaEvolve é a opção de código aberto mais forte para busca de programas guiada por LLM, e seu argumento de venda é a eficiência de amostras. Abordagens evolutivas anteriores muitas vezes precisavam de milhares de chamadas de LLM por problema; o resultado de destaque da Sakana é um novo melhor empacotamento de 26 círculos em 150 amostras, obtido com amostragem por rejeição de candidatos quase duplicados, um bandit que desloca as chamadas para o modelo que estiver melhorando e ilhas que compartilham um arquivo de boas soluções. São experimentos da própria Sakana, mas a aceitação no ICLR 2026 e a vitória no concurso ICFP 2025 lhes dão mais respaldo externo do que a maioria das alegações de frameworks recebe.
Ele se encaixa em um tipo de problema estreito e valioso: um programa com um verificador automático e um número a melhorar. Os exemplos incluídos cobrem empacotamento de círculos, uma política para 2048, solucionadores em Julia, Fortran e Wolfram e projetos em Verilog pontuados por consumo, desempenho e área. Não é um agente de programação genérico e não faz nada útil sem um avaliador em que você confie; um avaliador fraco será burlado.
O projeto amadureceu rápido em 2026: um ShinkaEvolveRunner unificado em março (que substituiu as antigas classes de runner, então código de 2025 precisa de mudanças), empacotamento no PyPI, um site de documentação em abril, skills de agente para Claude Code e Codex e, em maio, suporte a Headless CLI para direcionar as mutações por uma assinatura do Claude ou do ChatGPT em vez da cobrança por API. As versões ainda são 0.0.x, então espere mais mudanças incompatíveis.
A segurança fica por sua conta. Cada candidato é código escrito por LLM que seu avaliador executa, por padrão diretamente no host ou em um cluster Slurm, e o guia de primeiros passos não diz nada sobre sandbox. Jobs Slurm com Docker dão isolamento em um cluster; em uma estação de trabalho, rode-o em um contêiner. O modelo de embeddings padrão é o text-embedding-3-small da OpenAI, então os embeddings do código saem da sua máquina a menos que você aponte para um endpoint local.
Onde ele se destaca
Um engenheiro de pesquisa operacional com uma heurística de agendamento
Melhorar a pontuação da heurística em um conjunto fixo de benchmarks
Encapsule o benchmark como evaluate.py, defina max_api_costs para limitar o gasto e rode algumas dezenas de gerações. As execuções da Sakana no ALE-Bench tiveram ganho médio de 2,3% sobre baselines fortes.
Uma equipe de hardware otimizando blocos Verilog
Buscar RTL que reduza consumo e área sob uma especificação fixa
Comece pelo exemplo RTLLM, que precisa de iverilog, yosys e OpenSTA, e deixe os candidatos serem pontuados por consumo, desempenho e área. Rode as avaliações em jobs Slurm com Docker para conter o código gerado.
Um pesquisador de ML com assinatura do Claude e sem orçamento de API
Evoluir uma variante de loss de treinamento sem cobrança por token
Use strings de modelo headless/claude para que as mutações rodem pela assinatura, como mostra o exemplo sine_approx_headless da Sakana. O resultado da Sakana com a loss de MoE veio após 30 gerações.
Antes de decidir
- Configuração
- pip install shinka-evolve (Python 3.10 ou posterior, 3.11 recomendado), adicione as chaves dos provedores ao .env e depois shinka_launch variant=circle_packing_example; a tarefa de empacotamento de círculos é a primeira execução documentada.
- Integrações
- Modelos OpenAI, Anthropic, Gemini e OpenRouter, qualquer endpoint local compatível com OpenAI (como um servidor Ollama local), Headless CLI para assinaturas do Claude e do Codex, Slurm (Conda ou Docker), uma WebUI, Weights & Biases e skills de agente para Claude Code e Codex.
- Dados e privacidade
- O código e os prompts vão para os provedores de LLM que você configurar, e para a OpenAI para embeddings por padrão. As execuções ficam em um banco SQLite local. O logging no W&B, se ativado, envia um conjunto permitido de métricas, não o código. A Apache 2.0 não impõe limites ao uso comercial.
- Custo em escala
- O custo são suas chamadas de LLM mais a computação do avaliador; a Sakana não publica valores em dólares. O runner assíncrono, que a Sakana diz ser de 5 a 10 vezes mais rápido, aumenta o throughput e o gasto juntos, então defina max_api_costs em execuções longas.
- Limites
- Só é útil onde existe um avaliador automático. Sem sandbox para o código avaliado em execuções locais. Versão 0.0.7, com 14 issues e pull requests abertos e mudanças de API ao longo de 2026.
O que é bom
- Eficiente em amostras: novo melhor empacotamento de 26 círculos em 150 amostras, segundo a Sakana
- Conjunto de modelos com seleção por bandit e ponderação sensível a custo
- Roda localmente ou no Slurm, com uma WebUI e logging no W&B
- Teto rígido de orçamento em USD via max_api_costs
- Apache 2.0, no PyPI, artigo no ICLR 2026
O que não é
- Executa código escrito por LLM sem sandbox integrado
- Precisa de um avaliador automático confiável para ser útil
- Pré-1.0; a refatoração do runner em março de 2026 quebrou código antigo
- Os embeddings usam a OpenAI por padrão, a menos que se configure outra coisa
- Busca preços de modelos ao vivo no models.dev ao iniciar, a menos que se defina modo offline
Ideal para
Pesquisadores e engenheiros de desempenho que têm um programa pontuado, como uma heurística, um kernel ou um solucionador, e querem que LLMs busquem versões melhores dentro de um orçamento fixo.
Alternativas ao ShinkaEvolve
ShinkaEvolve: perguntas frequentes
- ShinkaEvolve vale a pena?
- Para quem tem um programa e uma pontuação para melhorar, esta é a alternativa aberta ao AlphaEvolve por onde começar, desde que se isole em sandbox o código que ele escreve. Damos nota 4.1 de 5.
- Quanto custa ShinkaEvolve?
- Gratuito sob Apache 2.0. Você paga pelas chamadas de LLM (ou por uma assinatura do Claude ou do ChatGPT via Headless) e pela computação que roda seu avaliador.
- Quais são as desvantagens de ShinkaEvolve?
- Executa código escrito por LLM sem sandbox integrado; precisa de um avaliador automático confiável para ser útil; pré-1.0; a refatoração do runner em março de 2026 quebrou código antigo; os embeddings usam a OpenAI por padrão, a menos que se configure outra coisa; busca preços de modelos ao vivo no models.dev ao iniciar, a menos que se defina modo offline.
- Para quem ShinkaEvolve é indicado?
- Pesquisadores e engenheiros de desempenho que têm um programa pontuado, como uma heurística, um kernel ou um solucionador, e querem que LLMs busquem versões melhores dentro de um orçamento fixo.
- Quanto custa ShinkaEvolve para uma equipe ou em produção?
- O custo são suas chamadas de LLM mais a computação do avaliador; a Sakana não publica valores em dólares. O runner assíncrono, que a Sakana diz ser de 5 a 10 vezes mais rápido, aumenta o throughput e o gasto juntos, então defina max_api_costs em execuções longas.
- ShinkaEvolve é seguro para dados da empresa?
- O código e os prompts vão para os provedores de LLM que você configurar, e para a OpenAI para embeddings por padrão. As execuções ficam em um banco SQLite local. O logging no W&B, se ativado, envia um conjunto permitido de métricas, não o código. A Apache 2.0 não impõe limites ao uso comercial.
- Quais são as melhores alternativas ao ShinkaEvolve?
- As alternativas mais próximas que analisamos são The AI Scientist (v1, v2 and v3), TreeQuest, OpenHands e mini-swe-agent.
Respostas verificadas em 26 de out. de 2026.