The AI Scientist (v1, v2 and v3)의 개요
The AI Scientist는 연구 방향을 받아 사람의 도움이 거의 또는 전혀 없이 실험과 논문을 만들어 내는 Sakana AI의 시스템 계열입니다. 현재 저장소 세 개로 이루어져 있습니다. 원조인 AI-Scientist(2024년 8월, 스타 약 14,800개)는 NanoGPT, 2D diffusion, grokking용으로 사람이 작성한 코드 템플릿 안에서 작동합니다. LLM이 아이디어를 내고, 템플릿을 수정하고, 실험을 돌리고, LaTeX 논문을 쓰며, LLM 리뷰어가 점수를 매깁니다. AI-Scientist-v2(2025년 4월, 스타 약 7,400개)는 템플릿을 없애고 WecoAI의 AIDE를 기반으로 한 에이전트형 트리 탐색으로 실험을 탐색합니다. Sakana는 좋은 템플릿이 있는 경우 v2의 성공률이 v1보다 낮다고 경고합니다.
2026년 10월 11일에 공개되고 10월 18일에 마지막으로 업데이트된 AI-Scientist-v3는 Agentic Scientist라는 새로운 설계입니다. 기존 코딩 에이전트(Claude Code, Codex, Cursor, OpenCode, Gemini CLI, Pi)를 여섯 단계로 이끕니다. 과제 초안 작성, 조사, ablation, 봉인된 최종 평가, 사후 분석, 논문 작성이며, 단계마다 별도의 Docker 컨테이너에서 실행됩니다. 스타는 약 520개입니다.
v1과 v2는 2025년 12월 Apache 2.0에서 AI Scientist Source Code License 1.0으로 바뀌었습니다. Responsible AI License 파생 라이선스로, 결과물 논문에 AI 생성 사실을 밝히도록 법적으로 요구합니다. 둘 다 2025년 12월 19일 이후 커밋이 없습니다. v3는 Apache 2.0입니다. 셋 다 릴리스를 내지 않습니다.
The AI Scientist (v1, v2 and v3), 쓸 만한 가치가 있습니까?
The AI Scientist는 도구로서보다 연구 결과물로서 더 중요하며, v3는 도구로 볼 여지가 있는 첫 버전입니다. v1은 2024년에 프런티어 모델이 템플릿 안에서 $15 미만으로 아이디어부터 서식을 갖춘 논문까지 갈 수 있음을 보였습니다. v2는 템플릿을 없애고 ICLR 2025 워크숍에서 동료 심사를 통과한 논문을 만들었습니다. 2026년 3월의 Nature 논문은 파이프라인을 정식화하고, 기반 모델이 좋아질수록 논문 품질이 오른다고 보고했습니다. v3는 전제를 바꿉니다. 모델 하나가 모든 것을 쓰는 대신 상용 코딩 에이전트를 루브릭 검사, 병렬 작업자, 감사 기록으로 감싸며, Sakana는 이를 사람이 질문을 정하는 공동 발견으로 설명합니다.
대표 성과는 맥락과 함께 봐야 합니다. ICBINB 워크숍에서 Sakana는 제출작 43편 중 v2 논문 3편을 냈습니다. 1편은 6, 7, 6점(평균 6.33)을 받았고 계획대로 게재 전에 철회됐으며, 2편은 탈락했습니다. Sakana의 자체 검토는 본 학회에 낼 만한 논문은 없다고 판단했고, LSTM을 Goodfellow(2016)의 업적으로 돌린 것 같은 인용 오류를 지적했습니다. Joeran Beel, Min-Yen Kan, Moritz Baumgart가 SIGIR Forum에 발표한 독립 평가에서는 제안된 실험 12개 중 5개(42%)가 코딩 오류로 실패했고, 참신성 검사는 SGD용 micro-batching 같은 이미 알려진 아이디어를 새롭다고 판정했으며, 논문의 인용은 중앙값 5개로 대부분 오래된 것이었고, 여러 원고에 지어낸 수치가 들어 있었습니다. 이들은 결과물을 마감에 쫓기는 의욕 없는 학부생에 비유하면서도, 자율성 자체는 실질적인 이정표라고 평가했습니다. v3의 ALIFE 2026 논문은 사람이 질문을 고르고 모든 결과를 확인한 공동 연구 결 과였으며, 보고된 Doc-to-LoRA의 정확 일치율 52%에서 98%로의 향상은 Sakana의 자체 수치입니다.
안전은 각주가 아니라 설계 제약입니다. 세 버전 모두 LLM이 쓴 코드를 실행합니다. v1과 v2는 컨테이너화와 웹 접근 제한을 사용자가 직접 하라고 안내하며, v1은 커뮤니티가 기여한 Dockerfile에 의존합니다. v3는 기본적으로 각 단계를 Docker에서 실행하지만, 에이전트는 전체 도구 권한(Headless --allow yolo)으로 실행되고, 마운트한 API 키를 읽을 수 있으며, 읽어 들이는 과제 파일과 논문에 의해 조종될 수 있습니다.
비용은 실행당으로는 크지 않지만 탐색 전체로는 쌓입니다. Sakana의 FAQ는 v1을 Claude 3.5 Sonnet 기준 논문당 보통 $15 미만, v2를 실험에 $15에서 $20, 작성에 약 $5로 잡습니다. Beel의 팀은 v1 논문 한 편에 $6에서 $15와 사람의 개입 약 3.5시간을 측정했습니다. v3는 단계별 토큰 사용량과 API 정가 기준 추정치를 비용 원장에 기록하며, API 키 대신 Claude나 ChatGPT 구독으로 결제할 수 있습니다. GRPO 예제는 GPU 두 개가 필요하고 평가당 1~2시간 학습합니다. 논문이 아니라 점수가 매겨지는 단일 프로그램의 자동 최적화를 원하는 엔지니어에게는 같은 연구소의 ShinkaEvolve가 더 직접적으로 맞습니다.
제 역할을 하는 곳
점수가 매겨지는 벤치마크 과제와 여유 GPU가 있는 ML 연구실
코딩 에이전트가 밤새 아이디어를 탐색하고 ablation을 돌리고 보고서 초안을 쓰게 하기
v3의 agsci run을 평가기가 있는 과제 디렉터리에 지정하면, Docker에서 조사, ablation, 봉인된 평가를 실행하고 논문을 씁니다. Sakana의 ALIFE 논문도 사람이 확인했으니, 모든 주장을 검증할 각오를 하십시오.
AI가 만든 과학을 연구하는 연구자
분석용으로 기계가 쓴 논문 말뭉치 만들기
v1을 NanoGPT, 2D diffusion, grokking 템플릿으로 논문당 보통 $15 미만에 실행합니다. 라이선스상 결과 원고마다 AI가 만들었다고 밝혀야 합니다.
연구 방법론 대학 강좌
자동화된 연구가 무엇을 틀리는지 학생들에게 보여 주기
실패한 실험, 약한 참신성 검사, 지어낸 수치를 기록한 Beel 등의 평가와 v1 또는 v2 결과물을 짝지어 리뷰 연습 과제로 씁니다.
도입 전 확인할 점
- 설정
- v1/v2: Python 3.11 conda, Linux와 NVIDIA GPU에서 CUDA를 쓰는 PyTorch, LaTeX 도구(v1은 texlive-full), API 키. v2 설치는 보통 1시간 안에 끝납니다. v3: Docker와 uv sync, 에이전트 이미지 빌드, .env에 키 입력 후 agsci run examples/circpack을 실행하면 Claude 로그인으로 CPU만 써서 돌아갑니다.
- 연동
- v1: OpenAI, Anthropic(직접, Bedrock, Vertex), DeepSeek, OpenRouter, Gemini, 문헌 검색용 Semantic Scholar 또는 OpenAlex. v3: Headless CLI를 통한 코딩 에이전트, OpenAI 기반 선택적 리뷰어 단계, 포트 8765의 브라우저 실행 검사기, 그림용 Autoillustrate.
- 데이터와 개인정보
- 프롬프트와 코드는 설정한 LLM 제공업체로 가고, 문헌 질의는 Semantic Scholar나 OpenAlex로 갑니다. v3는 선택한 에이전트의 키만 컨테이너에 전달하며, Sakana는 에이전트 로그에 문서 내용이 그대로 찍힐 수 있다고 경고합니다. v1/v2 라이선스는 감시, 일부 보건 및 범죄 예측 용도, AI 사용을 밝히지 않은 논문을 금지합니다.
- 대규모 사용 시 비용
- Sakana 수치: v1은 Claude 3.5 Sonnet 기준 논문당 보통 $15 미만, v2는 실험 실행당 $15~$20에 작성 약 $5. 따라서 v2로 아이디어 50개를 훑으면 GPU 시간 전에 API 요금만 대략 $1,000~$1,250입니다.
- 제한
- 계산 실험만 가능합니다. 강력한 템플릿이 있으면 v2는 v1보다 성공률이 낮습니다. v3에서 간단한 요약만으로 과제 초안을 쓰는 기능은 실험적이고, 문헌 검색은 작성 단계에서만 이뤄지며, 기준선은 대부분 자체 프로그램의 변형입니다.
좋은 점
- 잘 문서화된 자동 연구 파이프라인의 3세대
- v3는 Claude Code, Codex, Cursor, OpenCode, Gemini CLI, Pi를 바꿔 가며 구동
- v3는 기본적으로 모든 단계를 Docker에서 실행하고 전체 감사 기록을 남김
- Sakana 수치 기준 논문당 비용이 낮음(v2는 $15~$25)
- LLM이 쓴 코드 실행에 대한 솔직한 README 경고
아쉬운 점
- 생성된 논문에 인용 오류, 실패한 실험, 지어낸 수치가 있음(독립 평가)
- v1과 v2는 Linux, NVIDIA GPU, texlive가 필요하며 2025년 12월 이후 커밋 없음
- v3 에이전트는 전체 권한으로 실행되고 입력에 의해 조종될 수 있음
- v1과 v2 라이선스는 용도를 제한하고 논문에 AI 사용 고지를 요구
- 결과가 계산 기반 ML 실험에 한정됨
추천 대상
에이전트 실행을 샌드박스에 가둘 수 있고, 공개 전에 모든 결과를 검토할 자동 실험 연구·활용 ML 연구 그룹.
The AI Scientist (v1, v2 and v3) 대안
The AI Scientist (v1, v2 and v3): 자주 묻는 질문
- The AI Scientist (v1, v2 and v3), 쓸 만한 가치가 있습니까?
- 자동화된 ML 연구의 기준이 되는 프로젝트이며 이제는 코딩 에이전트용으로 쓸 만한 하네스이지만, 논문의 오류는 여전히 사람이 잡아야 하고 모든 실행은 LLM이 쓴 코드를 실행합니다. 평점은 5점 만점에 3.9점입니다.
- The AI Scientist (v1, v2 and v3)의 가격은 얼마입니까?
- 무료입니다. v1과 v2는 AI Scientist Source Code License 1.0(사용 제한과 AI 사용 고지 의무), v3는 Apache 2.0입니다. LLM API 호출이나 구독, GPU 비용은 직접 냅니다.
- The AI Scientist (v1, v2 and v3)의 단점은 무엇입니까?
- 생성된 논문에 인용 오류, 실패한 실험, 지어낸 수치가 있음(독립 평가); v1과 v2는 Linux, NVIDIA GPU, texlive가 필요하며 2025년 12월 이후 커밋 없음; v3 에이전트는 전체 권한으로 실행되고 입력에 의해 조종될 수 있음; v1과 v2 라이선스는 용도를 제한하고 논문에 AI 사용 고지를 요구; 결과가 계산 기반 ML 실험에 한정됨.
- The AI Scientist (v1, v2 and v3)에 적합한 사람은 누구입니까?
- 에이전트 실행을 샌드박스에 가둘 수 있고, 공개 전에 모든 결과를 검토할 자동 실험 연구·활용 ML 연구 그룹.
- 팀이나 프로덕션 환경에서 The AI Scientist (v1, v2 and v3)의 비용은 얼마입니까?
- Sakana 수치: v1은 Claude 3.5 Sonnet 기준 논문당 보통 $15 미만, v2는 실험 실행당 $15~$20에 작성 약 $5. 따라서 v2로 아이디어 50개를 훑으면 GPU 시간 전에 API 요금만 대략 $1,000~$1,250입니다.
- The AI Scientist (v1, v2 and v3)에 회사 데이터를 맡겨도 안전합니까?
- 프롬프트와 코드는 설정한 LLM 제공업체로 가고, 문헌 질의는 Semantic Scholar나 OpenAlex로 갑니다. v3는 선택한 에이전트의 키만 컨테이너에 전달하며, Sakana는 에이전트 로그에 문서 내용이 그대로 찍힐 수 있다고 경고합니다. v1/v2 라이선스는 감시, 일부 보건 및 범죄 예측 용도, AI 사용을 밝히지 않은 논문을 금지합니다.
- The AI Scientist (v1, v2 and v3)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 ShinkaEvolve, OpenHands, TreeQuest 및 mini-swe-agent입니다.
답변 확인일: 2026년 10월 26일.