TreeQuest의 개요
TreeQuest는 추론 시간 확장 방법인 Adaptive Branching Monte Carlo Tree Search(AB-MCTS)를 구현한 Sakana AI의 오픈소스 Python 라이브러리입니다. 모델에 한 번 묻는 대신, 탐색이 호출마다 새 답을 시도할지 유망한 답을 다듬을지 정하게 합니다. 바탕이 된 논문은 NeurIPS 2025 스포트라이트였고, Sakana는 같은 방법이 자사 Marlin 연구 에이전트의 바탕이라고 말합니다.
부모 상태를 받아 0에서 1 사이 점수가 붙은 새 상태를 돌려주는 함수를 쓰며, 보통 LLM을 호출하고 결과를 채점합니다. TreeQuest가 다음에 어느 노드를 확장할지 정합니다. AB-MCTS-A, AB-MCTS-M, 어느 모델을 부를지도 고르는 다중 LLM 모드, 그리고 체크포인트, 배치 ask-tell 인터페이스, HTML 트리 시각화를 제공합니다.
Apache 2.0이며 PyPI에 treequest로 있고, Python 3.11 이상이 필요합니다. 최신 릴리스는 2026년 10월 16일의 v0.3.3이며, 저장소의 스타는 약 570개, 기여자는 세 명입니다.
TreeQuest, 쓸 만한 가치가 있습니까?
TreeQuest는 범위가 좁은 좋은 라이브러리입니다. 모델을 호출하지도, 출력을 파싱하지도, 프롬프트를 관리하지도 않으며, 다음 호출을 어디에 쓸지만 정합니다. 그래서 기존 파이프라인에 넣기 쉽고, MCTS를 직접 쓰는 것보다 나은 주된 이점이 이것이며, README 빠른 시작이 한 화면에 들어가는 이유이기도 합니다.
이 방법의 가장 잘 알려진 결과는 가능성과 함정을 함께 보여 줍니다. 공개 ARC-AGI-2 작업 120개에서 호출 예산 250번으로, Sakana는 반복 샘플링한 o4-mini가 23%, AB-MCTS 를 쓴 o4-mini가 27.5%, o4-mini, Gemini 2.5 Pro, DeepSeek-R1을 결합한 다중 LLM AB-MCTS가 30% 넘게 풀었다고 보고합니다. 그 최고 수치는 시도 하나라도 맞으면 푼 것으로 치는 Pass@250입니다. 대회의 답 두 개 규칙으로는 19.2%로 떨어졌고, Sakana는 답 선택을 풀리지 않은 문제로 꼽습니다. TreeQuest는 좋은 후보를 찾지만, 채점 함수가 할 수 있지 않는 한 어느 것이 맞는지 알려 주지 않습니다.
그래서 TreeQuest 실행의 품질은 채점기의 품질입니다. 단위 테스트, 시연 예제, 수치 목표 같은 검증기가 있다면 더 많은 예산을 더 나은 답으로 바꾸는 건전한 방법입니다. LLM 심사자만 있다면 탐색은 심사자가 좋아하는 것을 최적화합니다.
프로젝트는 작고 유지되고 있습니다. 2025년 이후 대략 1개월에서 3개월마다 릴리스, 열린 이슈 0개, 기여자 세 명이므로, 지속성은 Sakana에 달려 있습니다. README는 AB-MCTS-M 단계가 느릴 수 있고 큰 배치가 트리를 왜곡한다고 경고하며 배치 크기를 다섯 이하로 권합니다. 많은 세대에 걸쳐 프로그램 전체를 진화시키는 일이라면 Sakana의 ShinkaEvolve가 더 맞는 도구입니다.
제 역할을 하는 곳
단위 테스트 모음을 기준으로 코드를 생성하는 엔지니어
필요한 곳에만 호출을 더 써서 어려운 작업의 통과율 높이기
후보마다 통과한 테스트 비율로 채점하고, AB-MCTS가 새 초안과 다듬기 사이에서 고르게 합니다. Sakana의 ARC-AGI-2 실행은 작업당 지출을 호출 250번으로 제한했습니다.
여러 모델 API에 접근할 수 있는 팀
한 모델의 아슬아슬한 오답이 다른 모델의 출발점이 되도록 모델 결합하기
모델마다 생성 함수를 하나씩 등록하고 다중 LLM AB-MCTS를 씁니다. ARC-AGI-2에서 Sakana는 DeepSeek-R1과 Gemini가 o4-mini의 오답을 고치는 것을 봤습니다.
추론 시간 확장 방법을 비교하는 연구자
트리 탐색을 best-of-N 샘플링과 벤치마크하기
같은 예산으로 AB-MCTS-A와 평범한 반복 샘플링을 돌린 뒤, 두 트리를 HTML로 렌더링해 모양을 비교합니다.
도입 전 확인할 점
- 설정
- Python 3.11 이상에서 pip install "treequest[all]"이나 uv add "treequest[all]"을 실행합니다. README 빠른 시작은 몇 줄로 10단계 탐색을 돌립니다.
- 연동
- 모델 중립적입니다. 자신의 생성 함수 안에서 어떤 LLM이든 호출합니다. 선택적 extras가 AB-MCTS-M 의존성과 시각화를 더하며, 탐색 트리를 체크포인트하고 HTML로 렌더링할 수 있습니다.
- 데이터와 개인정보
- TreeQuest 자체는 네트워크 호출을 하지 않습니다. 생성 함수가 LLM 제공사로 보내는 것만이 기기를 떠나는 데이터입니다. Apache 2.0은 상업적 사용에 제한을 두지 않습니다.
- 대규모 사용 시 비용
- 지출은 탐색 단계 수 곱하기 생성과 채점 호출의 비용입니다. Sakana의 ARC-AGI-2 실행처럼 작업당 호출 250번이면, 예산은 모델의 호출당 가격에서 바로 나옵니다.
- 제한
- 점수 기준 top_k 외에 최종 답 선택 없음. AB-MCTS-M은 단계당 느림. README에 따르면 배치 크기가 다섯을 넘으면 트리가 너무 넓어짐.
좋은 점
- 작은 API: (state, score)를 돌려주는 생성 함수 하나
- AB-MCTS-A, AB-MCTS-M, 다중 LLM 탐색을 한 패 키지에
- API 오류를 만나는 긴 실행을 위한 체크포인트와 재개
- 병렬 호출을 위한 배치 ask-tell 인터페이스
- Apache 2.0, 정기 릴리스, NeurIPS 2025에 발표된 방법
아쉬운 점
- 결과가 전적으로 채점 함수에 달려 있음
- 최종 답 고르기에 도움 없음: ARC-AGI-2 Pass@2는 19.2%, Pass@250은 30% 이상
- AB-MCTS-M 단계가 느릴 수 있음
- 큰 배치 크기가 탐색 트리를 왜곡
- 기여자 세 명, 작은 커뮤니티
추천 대상
이미 모델 출력의 검증기를 가지고 있으며 더 큰 호출 예산을 더 나은 답으로 바꿀 검증된 탐색 알고리즘을 원하는 엔지니어.
TreeQuest 대안
TreeQuest: 자주 묻는 질문
- TreeQuest, 쓸 만한 가치가 있습니까?
- 존중받는 탐색 방법을 깔끔하고 최소한으로 구현해 한 가지 일만 정확히 합니다. 어려운 부분인 채점과 최종 답 고르기는 사용자에게 맡깁니다. 평점은 5점 만점에 3.8점입니다.
- TreeQuest의 가격은 얼마입니까?
- Apache 2.0으로 무료입니다. 비용은 생성과 채점 함수가 하는 LLM 호출입니다.
- TreeQuest의 단점은 무엇입니까?
- 결과가 전적으로 채점 함수에 달려 있음; 최종 답 고르기에 도움 없음: ARC-AGI-2 Pass@2는 19.2%, Pass@250은 30% 이상; AB-MCTS-M 단계가 느릴 수 있음; 큰 배치 크기가 탐색 트리를 왜곡; 기여자 세 명, 작은 커뮤니티.
- TreeQuest에 적합한 사람은 누구입니까?
- 이미 모델 출력의 검증기를 가지고 있으며 더 큰 호출 예산을 더 나은 답으로 바꿀 검증된 탐색 알고리즘을 원하는 엔지니어.
- 팀이나 프로덕션 환경에서 TreeQuest의 비용은 얼마입니까?
- 지출은 탐색 단계 수 곱하기 생성과 채점 호출의 비용입니다. Sakana의 ARC-AGI-2 실행처럼 작업당 호출 250번이면, 예산은 모델의 호출당 가격에서 바로 나옵니다.
- TreeQuest에 회사 데이터를 맡겨도 안전합니까?
- TreeQuest 자체는 네트워크 호출을 하지 않습니다. 생성 함수가 LLM 제공사로 보내는 것만이 기기를 떠나는 데이터입니다. Apache 2.0은 상업적 사용에 제한을 두지 않습니다.
- TreeQuest의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 ShinkaEvolve, The AI Scientist (v1, v2 and v3) 및 LangGraph입니다.
답변 확인일: 2026년 10월 26일.