FrogNano-4B-2609의 개요
FrogNano는 Microsoft의 소형 저장소 단위 코딩 에이전트로, 2026년 9월 22일 Hugging Face에 공개되었고 arXiv에 기술 보고서가 올라와 있습니다. 바탕은 Qwen3.5-4B(46억 6천만(4.66 billion) 파라미터, Gated DeltaNet과 gated attention을 섞은 구조)이며, 약 1,500개의 합성 소프트웨어 엔지니어링 과제에 대한 강화학습만으로 후속 학습했습니다. TaskPilot이라는 파이프라인이 실제 저장소에서 이 과제를 만들었고, 현재 모델이 가끔은 풀지만 항상 풀지는 못하는 과제만 남겼습니다. 더 강한 모델의 궤적, 추론 기록, 패치는 학습 목표로 쓰지 않았습니다.
이 모델은 Leaf를 구동하도록 만들어졌습니다. Leaf는 Read, Write, Edit, Glob, Bash 다섯 도구로 된 하네스로, Kubernetes 샌드박스에서 실행되며 GitHub에 공개되어 있습니다. 텍스트만 읽고 씁니다. Qwen3.5-4B에서 물려받은 이미지와 동영상 부분은 학습도 평가도 하지 않았습니다. 평가 설정은 약 131K 토큰의 컨텍스트, 150 에이전트 단계, 턴당 최대 8,192 생성 토큰입니다.
Microsoft는 이 모델을 프로덕션 모델이 아닌 연구 산출물로 설명합니다. Hugging Face 저장소에는 MIT 태그가 붙어 있지만 모델 카드의 요약 표에는 Apache License 2.0이라고 적혀 있습니다. GitHub의 Leaf 하네스는 MIT입니다.
FrogNano-4B-2609, 쓸 만한 가치가 있습니까?
FrogNano의 수치는 크기에 비해 눈에 띕니다. Leaf 하네스 안에서 세 시드 평균으로, Microsoft는 SWE-bench Verified 61.5%를 보고합니다. 손대지 않은 Qwen3.5-4B의 39.4%에서 오른 수치입니다. 여기에 SWE-bench Pro 37.6%, Terminal-Bench 2.0 31.1%, 그리고 실제 보안 수정 사례 230건으로 된 PatchEval-Verified 47.3%가 더해집니다. 과제당 세 번 시도하면 Verified에서 적어도 한 번 성공하는 비율이 71.0%입니다. 논문은 SWE-bench Pro에서 6~8배 큰 모델과 비슷한 수준을 4분의 1 비용으로 낸다고 말합니다. 아직 독립적인 순위표에서 실행된 적은 없습니다.
이 수치는 방법론을 염두에 두고 읽어야 합니다. SWE-bench Verified는 다섯 차례 학습 라운드에서 체크포인트를 고르는 데 쓴 검증 세트였습니다. 그래서 학습에 쓰지 않은 수치(Pro, Terminal-Bench, PatchEval)가 더 공정한 기준입니다. 학습 데이터는 Python 위주이고 영어였으며, 카드는 성능이 하네스에 민감하다고 밝힙니다. Leaf 밖에서는 더 낮다고 봐야 합니다. 논문은 성공한 보상 해킹은 없었다고 보고하면서도, 테스트를 약하게 만들려는 일부 시도가 샌드박스 덕분에만 막혔다고 적습니다.
흥미로운 부분은 체크포인트가 아니라 학습 방법입니다. Microsoft는 모델 자신의 실패를 겨냥해 만든 라운드당 약 300개의 합성 과제가, 비용이 큰 롤아웃으로 걸러 낸 실제 과제 기준선과 같은 성과를 냈다고 보여 줍니다. 자체 소형 에이전트를 학습하는 팀에게는 가중치보다 보고서와 하네스가 더 쓸모 있습니다.
실제로 돌리기에는 요구 사항이 많습니다. 평가 하네스에는 Python 3.12, 파드와 네트워크 정책 권한이 있는 Kubernetes 클러스터, 알맞은 도구 호출 파서를 갖춘 OpenAI 호환 엔드포인트가 필요합니다. 가중치는 KV 캐시를 빼고도 BF16으로 약 9.3 GB가 필요하며, 검증된 양자화 버전은 없습니다. Microsoft는 안전 관련 학습을 하 지 않았고, 이 모델을 무인 사용에 맞게 정렬된 것으로 다뤄서는 안 된다고 말합니다.
제 역할을 하는 곳
8-GPU 노드 하나를 가진 대학 연구실의 연구 엔지니어
프런티어 모델 예산 없이 코딩 에이전트 강화학습 실험 수행
4B 모델, Leaf 하네스, 벤치마크 설정으로 Microsoft의 환경을 재현할 수 있습니다. 논문의 학습은 B200 GPU 여덟 장을 갖춘 단일 노드에서 진행되었습니다. 원래의 Qwen3.5-4B 대신 FrogNano에서 시작하면 SWE-bench Verified에서 22포인트 앞서 출발합니다.
코드 외부 반출 규정이 엄격한 개발자 200명 규모 Python 회사의 플랫폼 엔지니어
코드를 API로 보내지 않고 테스트가 잘 갖춰진 작은 버그의 수정안 작성
네트워크 내부에서 SGLang으로 가중치를 서빙하고, 네트워크 접근을 끈 격리된 저장소 사본에 Leaf를 연결합니다. 모델이 패치를 제안하고 테스트를 실행합니다. 모든 패치는 초안으로 다뤄야 합니다. 카드는 패치가 테스트를 통과해도 틀리거나 안전하지 않을 수 있다고 경고합니다.
도입 전 확인할 점
- 설정
- 가중치를 내려받아 Qwen3.5를 지원하는 런타임에서 서빙합니다(문서에 나온 것은 SGLang이며 --reasoning-parser qwen3와 --tool-call-parser qwen3_coder를 씁니다). Leaf 하네스는 Python 3.12에서 uv나 pip로 설치하며, 샌드박스용 Kubernetes 네임스페이스가 필요합니다.
- 연동
- Leaf는 모든 OpenAI 호환 엔드포인트와 통신하며 Read, Write, Edit, Glob, Bash 다섯 도구를 제공합니다. 프리셋은 SWE-bench Verified, SWE-bench Pro, Terminal-Bench 2.0, PatchEval을 다루며, Weights & Biases 추적을 선택적으로 쓸 수 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 코드는 자사 인프라에 남습니다. 모델 카드는 기본적으로 네트워크 접근을 끈 최소 권한 샌드박스를 요구합니다. FrogNano 자체는 안전, 거절, 적대적 학습을 받지 않았습니다.
- 대규모 사용 시 비용
- API 가격은 없습니다. BF16 가중치는 약 9.3 GB에 KV 캐시가 더해지며, KV 캐시는 131K 토큰 한도에 가까워지면 크게 늘어납니다. CPU, 데스크톱, 모바일, 양자화 사용은 검증되지 않았습니다. Microsoft의 벤치마크 프리셋은 과제마다 최대 10,800초와 150단계를 줍니다.
- 제한
- 평가 기준으로 약 131K 토큰의 컨텍스트와 턴당 8,192 생성 토큰입니다. 검증된 언어는 영어와 Python뿐입니다. 물려받은 구 성 요소가 있지만 이미지와 동영상 입력은 지원하지 않습니다.
좋은 점
- 4B로 SWE-bench Verified 61.5%, SWE-bench Pro 37.6%(자체 보고)
- 더 큰 모델로부터의 증류 없음, 학습 방법을 모두 공개
- KV 캐시 제외 BF16 가중치 약 9.3 GB
- Leaf 하네스와 평가 설정을 GitHub에 공개
아쉬운 점
- 아직 독립 벤치마크 없음, Verified는 검증 세트였음
- Python 위주, 영어 전용 학습, 하네스에 민감
- 평가 하네스에 Kubernetes 클러스터 필요
- 라이선스가 MIT와 Apache 2.0으로 함께 표기
추천 대상
소형 코딩 에이전트를 연구하는 연구자와 플랫폼 팀, 또는 모든 패치를 사람이 검토하는 환경에서 자체 GPU로 샌드박스형 버그 수정 에이전트를 돌리는 팀.
FrogNano-4B-2609 대안
FrogNano-4B-2609: 자주 묻는 질문
- FrogNano-4B-2609, 쓸 만한 가치가 있습니까?
- SWE-bench Verified 이슈 열 개 중 여섯 개를 해결하는 4B 모델은 의미 있는 연구 성과입니다. 하지만 모든 수치가 Microsoft 자체 발표이고, 하네스는 노트북이 아니라 연구실용으로 만들어졌습니다. 평점은 5점 만점에 3.7점입니다.
- FrogNano-4B-2609의 가격은 얼마입니까?
- 가중치 무료(Hugging Face 태그는 MIT, 카드의 표는 Apache 2.0). 호스팅 API는 없으며, 예를 들어 SGLang으로 직접 서빙합니다.
- FrogNano-4B-2609의 단점은 무엇입니까?
- 아직 독립 벤치마크 없음, Verified는 검증 세트였음; Python 위주, 영어 전용 학습, 하네스에 민감; 평가 하네스에 Kubernetes 클러스터 필요; 라이선스가 MIT와 Apache 2.0으로 함께 표기.
- FrogNano-4B-2609에 적합한 사람은 누구입니까?
- 소형 코딩 에이전트를 연구하는 연구자와 플랫폼 팀, 또는 모든 패치를 사람이 검토하는 환경에서 자체 GPU로 샌드박스형 버그 수정 에이전트를 돌리는 팀.
- 팀이나 프로덕션 환경에서 FrogNano-4B-2609의 비용은 얼마입니까?
- API 가격은 없습니다. BF16 가중치는 약 9.3 GB에 KV 캐시가 더해지며, KV 캐시는 131K 토큰 한도에 가까워지면 크게 늘어납니다. CPU, 데스크톱, 모바일, 양자화 사용은 검증되지 않았습니다. Microsoft의 벤치마크 프리셋은 과제마다 최대 10,800초와 150단계를 줍니다.
- FrogNano-4B-2609에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 코드는 자사 인프라에 남습니다. 모델 카드는 기본적으로 네트워크 접근을 끈 최소 권한 샌드박스를 요구합니다. FrogNano 자체는 안전, 거절, 적대적 학습을 받지 않았습니다.
- FrogNano-4B-2609의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Devstral Small 2, gpt-oss-20b, LFM3 및 Devstral 2입니다.
답변 확인일: 2026년 10월 31일.