O que é The AI Scientist (v1, v2 and v3)?
The AI Scientist é a linha de sistemas da Sakana AI que recebem uma direção de pesquisa e produzem experimentos e um artigo escrito com pouca ou nenhuma ajuda humana. Ela agora abrange três repositórios. O AI-Scientist original (agosto de 2024, cerca de 14,800 estrelas) trabalha dentro de templates de código escritos por humanos para NanoGPT, difusão 2D e grokking: um LLM propõe ideias, edita o template, roda os experimentos e escreve um artigo em LaTeX, e um revisor LLM dá a nota. O AI-Scientist-v2 (abril de 2025, cerca de 7,400 estrelas) abandona os templates e busca entre experimentos com uma busca em árvore agêntica construída sobre o AIDE, da WecoAI; a Sakana avisa que ele tem taxas de sucesso menores que o v1 quando existe um bom template.
O AI-Scientist-v3, publicado em 11 de outubro de 2026 e atualizado pela última vez em 18 de outubro, é um novo design chamado Agentic Scientist. Ele conduz agentes de código existentes (Claude Code, Codex, Cursor, OpenCode, Gemini CLI e Pi) por seis fases: redação da tarefa, investigação, ablações, uma avaliação final selada, análise post-hoc e redação do artigo, cada uma no próprio contêiner Docker. Tem cerca de 520 estrelas.
O v1 e o v2 passaram em dezembro de 2025 do Apache 2.0 para a AI Scientist Source Code License 1.0, uma derivada da Responsible AI License que obriga legalmente a declarar a geração por IA em qualquer artigo resultante; nenhum dos dois recebeu commits desde 19 de dezembro de 2025. O v3 é Apache 2.0. Nenhum dos três publica versões.
The AI Scientist (v1, v2 and v3) vale a pena?
The AI Scientist é mais importante como artefato de pesquisa do que como ferramenta, e o v3 é a primeira versão que plausivelmente é uma ferramenta. O v1 mostrou em 2024 que um modelo de ponta conseguia ir da ideia ao artigo formatado por menos de $15 dentro de um template; o v2 removeu o template e produziu o artigo que passou pela revisão por pares em um workshop do ICLR 2025; o artigo na Nature de março de 2026 formalizou o pipeline e relatou que a qualidade dos artigos sobe com o modelo subjacente. O v3 muda a premissa: em vez de um modelo escrever tudo, ele envolve agentes de código comerciais em verificações por rubrica, workers paralelos e uma trilha de auditoria, e a Sakana o apresenta como codescoberta, com um humano definindo a pergunta.
Os resultados de destaque precisam de contexto. No workshop ICBINB, a Sakana submeteu três artigos do v2 entre 43 submissões; um recebeu notas 6, 7 e 6 (média 6.33) e foi retirado antes da publicação, como planejado, dois foram rejeitados, e a própria revisão da Sakana concluiu que nenhum era bom o bastante para a conferência principal e apontou erros de citação, como atribuir as LSTMs a Goodfellow (2016). Uma avaliação independente de Joeran Beel, Min-Yen Kan e Moritz Baumgart, publicada no SIGIR Forum, constatou que 5 de 12 experimentos propostos (42%) falharam por erros de código, que as verificações de novidade rotularam como novas ideias conhecidas, como micro-batching para SGD, que os artigos tinham uma mediana de cinco citações, em geral antigas, e que vários manuscritos continham números inventados. Eles compararam o resultado a um aluno de graduação desmotivado correndo contra o prazo, embora tenham chamado a autonomia de um marco real. O artigo do v3 no ALIFE 2026 foi um resultado de cocientista em que humanos escolheram a pergunta e verificaram cada resultado, e o ganho relatado no Doc-to-LoRA, de 52% para 98% de exact match, é da própria Sakana.
A segurança é uma restrição de design, não uma nota de rodapé. As três versões executam código escrito por LLM. O v1 e o v2 dizem para você mesmo conteinerizar e restringir o acesso à web; o v1 depende de um Dockerfile contribuído pela comunidade. O v3 roda cada fase em Docker por padrão, mas seus agentes rodam com permissões totais de ferramentas (Headless --allow yolo), podem ler as chaves de API que você monta e podem ser direcionados pelos arquivos de tarefa e artigos que leem.
Os custos são modestos por execução e se acumulam ao longo de uma busca. As FAQs da Sakana estimam o v1 em normalmente menos de $15 por artigo com o Claude 3.5 Sonnet, e o v2 em $15 a $20 pelos experimentos mais cerca de $5 pela redação; a equipe de Beel mediu $6 a $15 e cerca de 3.5 horas de envolvimento humano por artigo do v1. O v3 registra o uso de tokens por fase e estimativas pelo preço de tabela da API em um livro de custos e pode cobrar de uma assinatura do Claude ou do ChatGPT em vez de uma chave de API; seu exemplo de GRPO precisa de duas GPUs e treina de uma a duas horas por avaliação. Para engenheiros que querem otimização automatizada de um único programa com nota, e não artigos, o ShinkaEvolve, do mesmo laboratório, é a opção mais direta.
Onde ele se destaca
Um laboratório de ML com uma tarefa de benchmark com nota e GPUs sobrando
Fazer agentes de código explorarem ideias, rodarem ablações e redigirem um relatório durante a noite
Apontar o agsci run do v3 para um diretório de tarefa com um avaliador; ele roda investigação, ablações e uma avaliação selada em Docker e escreve um artigo. Conte com verificar cada afirmação, já que o próprio artigo da Sakana no ALIFE foi verificado por humanos.
Uma pesquisadora que estuda ciência gerada por IA
Gerar um corpus de artigos escritos por máquina para análise
Rodar o v1 nos templates de NanoGPT, difusão 2D ou grokking, normalmente por menos de $15 por artigo. A licença exige que cada manuscrito resultante declare que foi produzido por IA.
Uma disciplina universitária de métodos de pesquisa
Mostrar aos alunos o que a pesquisa automatizada erra
Combinar resultados do v1 ou do v2 com a avaliação de Beel et al., que documenta experimentos falhos, verificações de novidade fracas e números inventados, como exercício de revisão.
Antes de decidir
- Configuração
- v1/v2: conda com Python 3.11, PyTorch com CUDA em Linux e GPUs NVIDIA, ferramentas LaTeX (texlive-full no v1), chaves de API; a instalação do v2 costuma levar menos de uma hora. v3: Docker mais uv sync, construir a imagem do agente, pôr as chaves em .env, e então agsci run examples/circpack roda só em CPU com um login do Claude.
- Integrações
- v1: OpenAI, Anthropic (direto, Bedrock, Vertex), DeepSeek, OpenRouter e Gemini, com Semantic Scholar ou OpenAlex para busca bibliográfica. v3: agentes de código via Headless CLI, uma fase opcional de revisor com OpenAI, um inspetor de execuções no navegador na porta 8765 e o Autoillustrate para figuras.
- Dados e privacidade
- Prompts e código vão para o provedor de LLM que você configurar; consultas bibliográficas vão para o Semantic Scholar ou o OpenAlex. O v3 repassa aos contêineres apenas as chaves do agente selecionado, e a Sakana avisa que os logs dos agentes podem reproduzir o conteúdo de documentos. A licença do v1/v2 proíbe vigilância, alguns usos em saúde e em previsão criminal, e artigos de IA não declarados.
- Custo em escala
- Números da Sakana: v1 normalmente abaixo de $15 por artigo com o Claude 3.5 Sonnet; v2 de $15 a $20 por execução de experimentos, mais cerca de $5 para a redação. Uma varredura de 50 ideias no v2 chega, portanto, a cerca de $1,000 a $1,250 em taxas de API antes do tempo de GPU.
- Limites
- Apenas experimentos computacionais. O v2 tem sucesso com menos frequência que o v1 quando existe um template forte. No v3, a redação da tarefa a partir de um briefing vazio é experimental, a busca bibliográfica só acontece na hora da redação, e as linhas de base são em geral variantes do próprio programa.
O que é bom
- Três gerações de um pipeline de pesquisa automatizada bem documentado
- O v3 conduz Claude Code, Codex, Cursor, OpenCode, Gemini CLI e Pi de forma intercambiável
- O v3 roda todas as fases em Docker por padrão, com trilha de auditoria completa
- Custo baixo por artigo pelos números da Sakana ($15 a $25 no v2)
- Avisos francos no README sobre rodar código escrito por LLM
O que não é
- Os artigos gerados contêm erros de citação, experimentos falhos e números inventados (avaliação independente)
- v1 e v2 exigem Linux, GPUs NVIDIA e texlive; nenhum commit desde dezembro de 2025
- Os agentes do v3 rodam com permissões totais e podem ser direcionados pelas entradas
- A licença do v1 e do v2 restringe usos e exige declaração de IA nos artigos
- Resultados limitados a experimentos computacionais de ML
Ideal para
Grupos de pesquisa em ML que estudam ou usam experimentação automatizada, conseguem isolar as execuções dos agentes e vão revisar cada resultado antes da publicação.
Alternativas ao The AI Scientist (v1, v2 and v3)
The AI Scientist (v1, v2 and v3): perguntas frequentes
- The AI Scientist (v1, v2 and v3) vale a pena?
- O projeto de referência em pesquisa automatizada de ML e agora um harness utilizável para agentes de código, mas seus artigos ainda precisam de um humano para pegar erros, e toda execução roda código escrito por um LLM. Damos nota 3.9 de 5.
- Quanto custa The AI Scientist (v1, v2 and v3)?
- Gratuito. v1 e v2 sob a AI Scientist Source Code License 1.0 (restrições de uso e declaração obrigatória de IA); v3 sob Apache 2.0. Você paga as chamadas de API ou assinaturas de LLM e as GPUs.
- Quais são as desvantagens de The AI Scientist (v1, v2 and v3)?
- Os artigos gerados contêm erros de citação, experimentos falhos e números inventados (avaliação independente); v1 e v2 exigem Linux, GPUs NVIDIA e texlive; nenhum commit desde dezembro de 2025; os agentes do v3 rodam com permissões totais e podem ser direcionados pelas entradas; a licença do v1 e do v2 restringe usos e exige declaração de IA nos artigos; resultados limitados a experimentos computacionais de ML.
- Para quem The AI Scientist (v1, v2 and v3) é indicado?
- Grupos de pesquisa em ML que estudam ou usam experimentação automatizada, conseguem isolar as execuções dos agentes e vão revisar cada resultado antes da publicação.
- Quanto custa The AI Scientist (v1, v2 and v3) para uma equipe ou em produção?
- Números da Sakana: v1 normalmente abaixo de $15 por artigo com o Claude 3.5 Sonnet; v2 de $15 a $20 por execução de experimentos, mais cerca de $5 para a redação. Uma varredura de 50 ideias no v2 chega, portanto, a cerca de $1,000 a $1,250 em taxas de API antes do tempo de GPU.
- The AI Scientist (v1, v2 and v3) é seguro para dados da empresa?
- Prompts e código vão para o provedor de LLM que você configurar; consultas bibliográficas vão para o Semantic Scholar ou o OpenAlex. O v3 repassa aos contêineres apenas as chaves do agente selecionado, e a Sakana avisa que os logs dos agentes podem reproduzir o conteúdo de documentos. A licença do v1/v2 proíbe vigilância, alguns usos em saúde e em previsão criminal, e artigos de IA não declarados.
- Quais são as melhores alternativas ao The AI Scientist (v1, v2 and v3)?
- As alternativas mais próximas que analisamos são ShinkaEvolve, OpenHands, TreeQuest e mini-swe-agent.
Respostas verificadas em 26 de out. de 2026.