Underdog Saluki 27B 1.0의 개요
Underdog Saluki 27B 1.0은 Alibaba의 Qwen3.8-27B를 2비트로 빌드한 것으로, a16z의 투자를 받아 Underdog 온디바이스 어시스턴트를 만드는 Conway Research가 2026년 10월 7일 공개했습니다. 새 모델은 아닙니다. ISTA-DASLab이 만든 Qwen3.8-27B의 8.4 GB GSQ-RCO 양자화에서 출발해 추가로 수정했고, 전체 크기 약 54 GB에서 7.89 GB로 줄였습니다. Underdog은 이를 프리뷰 체크포인트라 부르며, 학습 세부 사항은 나중에 공개한다고 말합니다.
GGUF 파일 하나가 별도 빌드 없이 기본 llama.cpp와 Ollama에서 돌아갑니다. 메인 파일은 텍스트 전용이며, 629 MB 또는 928 MB의 별도 비전 파일이 이미지 입력을 더합니다. Qwen3.8처럼 사고 모드가 기본으로 켜져 있고 요청마다 끌 수 있습니다. Underdog은 16 GB 노트북에서 돌아간다고 말합니다.
가중치는 기반이 된 두 모델과 같은 Apache 2.0입니다. 10월 하순까지 30일 동안 Hugging Face 다운로드는 약 613,000회로, 수정 대상인 ISTA 빌드의 약 127만(1.27 million) 회와 비교됩니다.
Underdog Saluki 27B 1.0, 쓸 만한 가치가 있습니까?
Saluki의 주장은 좁지만 쓸모 있습니다. 7.89 GB로 Qwen3.8-27B의 에이전트 능력 대부분을 유지한다는 것입니다. Berkeley Function Calling Leaderboard에서 뽑아 테스트 전에 고정한 도구 호출 작업 120개로 이뤄진 Underdog Bench에서 88개를 통과했고, 전체 54 GB 모델은 84개, 출발점인 ISTA-DASLab 빌드는 76개였습니다. 단일 호출 작업 48개 중 47개에서 올바른 함수를 골랐습니다. SWE-bench Verified 이슈 50개 중 30개를 고쳤고, 전체 모델은 33개였습니다. 모든 수치는 Underdog이 자체 하네스로 돌린 것이며, 회사 스스로도 몇 개 작업 차이는 잡음이라고 말합니다.
압축의 대가는 추론에 떨어집니다. AIME 2025 평균은 79.2로, 전체 모델의 공개 수치 96.7보다 낮고, MuSR은 79.6에서 67.5로 떨어집니다. 병렬 호출은 헤드라인보다 불안합니다. 엄격한 채점으로 100개 중 42개가 통과했고, 23개 작업에서는 응답에 검사기가 읽을 수 있는 호출이 없었습니다. 관대한 파서로는 55개로 오릅니다. Underdog 자체의 Main 빌드는 도구 호출 세트에서 91을 기록했지만 브라우징은 더 못하고, Mia라 부르는 ExLlamaV3 빌드는 병렬 호출에서 69로 이기지만 9.1 GB이고 llama.cpp에서 로드되지 않습니다.
Underdog이 무엇을 바꿨는지는 문서화되어 있지 않습니다. 카드는 Saluki가 ISTA 파일을 기반으로 수정되었다고만 말하고, 출시 게시물은 전체 학습 내용을 나중에 공개한다고 약속합니다. Saluki와 ISTA 원본 사이에서 고르는 팀에게는 12개 작업의 벤치마크 우위만 있고 이를 재현할 수단은 없습니다.
그래도 실무적 근거는 강합니다. 기본 llama.cpp와 Ollama에서 로드되는 표준 GGUF이고, 16 GB 노트북의 다른 작업과 함께 들어가며, Qwen3.8의 사고 모드 스위치를 유지합니다. Underdog이 비교한 다른 어떤 2비트 빌드보다 배포하기 쉽습니다. 출시 게시물은 텍스트만 받는다고 했지만, 일주일 뒤 업데이트된 카드에는 비전 파일이 추가되었습니다. 비전 파일은 새롭고 문서가 적은 것으로 보고 계획하십시오.
제 역할을 하는 곳
16 GB MacBook에서 개인 데스크톱 어시스턴트를 만드는 개발자
데이터를 밖으로 보내지 않고 캘린더, 파일, 검색 도구를 호출하는 에이전트 돌리기
카드 권장대로 llama-server와 --jinja로 7.89 GB GGUF를 서빙하고, 직접 호출에는 사고 모드를 끄고 온도를 0으로 둡니다. Underdog은 48개 중 47개에서 올바른 함수를 골랐다고 보고하지만, 관대한 도구 호출 파서는 준비해 두십시오.
온디바이스 제품용 2비트 Qwen3.8-27B 빌드를 비교하는 ML 엔지니어
Saluki, ISTA-DASLab 원본, ExLlamaV3 빌드 중 고르기
Saluki는 단일 도구 선택에서 앞서고(Underdog Bench에서 88 대 ISTA 76), Mia는 병렬 호출에서 앞서지만(69 대 42) ExLlamaV3가 필요합니다. Underdog의 120개 작업 세트는 작고 Saluki의 방법은 공개되지 않았으므로, 먼저 자신의 도구 스키마로 다시 돌려 보십시오.
직원 30명 법률 사무소의 IT 책임자
클라우드 계약 없이 직원들에게 문서 작업용 오프라인 어시스턴트 제공하기
Apache 2.0은 매출 상한 없이 상업적 이용을 허용하고, 모델은 사무소가 이미 가진 노트북에서 돌아갑니다. 경시대회식 수학과 글자 단위 퍼즐에 약하지만, 초안 작성과 조회에는 거의 문제가 되지 않습니다.
도입 전 확인할 점
- 설정
- 7.89 GB 파일 하나를 내려받고 --jinja -ngl 99 -fa on -c 32768로 llama-server를 시작합니다. Ollama는 한 줄짜리 Modelfile로 모델을 만듭니다. 이미지에는 629 MB 또는 928 MB 비전 파일과 함께 --mmproj를 추가합니다.
- 연동
- llama-server는 포트 8080에서 도구 호출과 요청별 enable_thinking 스위치가 있는 OpenAI 채팅 API를 제공합니다. Underdog은 Apple silicon에서 Ollama 0.40.4를 테스트했습니다. Underdog 앱 안에도 탑재되어 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 데이터가 기기에 남습니다. Apache 2.0은 상업적 이용과 수정을 허용하며, NOTICE 파일에 Qwen과 ISTA-DASLab이 표기되어 있습니다.
- 대규모 사용 시 비용
- 가중치는 무료이며 자체 API 가격은 없습니다. 파일은 7.89 GB에 비전용 최대 928 MB가 더해지고, Underdog은 16 GB 노트북에서 돌아간다고 말합니다. 긴 컨텍스트의 VRAM 수치는 공개되지 않았습니다.
- 제한
- 전체 모델의 경시대회 수학 점수 중 82에서 85%를 유지합니다. 글자 단위 지시 퍼즐에 가장 약하고, 병렬 호출 응답의 약 5분의 1에 형 식 실수가 있으며, 사고 모드를 켜면 추론이 길어집니다.
좋은 점
- 약 54 GB에서 줄인 7.89 GB 파일
- 도구 호출 작업 120개 중 88개, 전체 크기는 84개(자체 보고)
- 별도 빌드 없이 기본 llama.cpp와 Ollama에서 실행
- 기반이 된 두 모델처럼 Apache 2.0
아쉬운 점
- AIME 2025가 96.7에서 79.2로 하락
- 병렬 호출 응답 100개 중 23개를 엄격한 검사기가 읽지 못함
- 수정 방법 미공개, 프리뷰 체크포인트
- 모든 벤치마크를 Underdog이 직접 실행
추천 대상
수학과 추론 손실을 감수하고 16 GB 노트북이나 소비자용 GPU 한 장에서 로컬 도구 호출 에이전트를 돌리는 개발자.
Underdog Saluki 27B 1.0 대안
Underdog Saluki 27B 1.0: 자주 묻는 질문
- Underdog Saluki 27B 1.0, 쓸 만한 가치가 있습니까?
- 수학보다 도구 호출이 중요할 때 돌릴 2비트 Qwen3.8-27B입니다. 다만 Underdog의 점수는 측정값이 아니라 약속으로 받아들여야 합니다. 평점은 5점 만점에 3.6점입니다.
- Underdog Saluki 27B 1.0의 가격은 얼마입니까?
- Apache 2.0으로 가중치는 무료입니다. 호스팅 API 가격은 없으며, 자신의 하드웨어 비용을 내거나 Underdog 앱 안에서 씁니다.
- Underdog Saluki 27B 1.0의 단점은 무엇입니까?
- AIME 2025가 96.7에서 79.2로 하락; 병렬 호출 응답 100개 중 23개를 엄격한 검사기가 읽지 못함; 수정 방법 미공개, 프리뷰 체크포인트; 모든 벤치마크를 Underdog이 직접 실행.
- Underdog Saluki 27B 1.0에 적합한 사람은 누구입니까?
- 수학과 추론 손실을 감수하고 16 GB 노트북이나 소비자용 GPU 한 장에서 로컬 도구 호출 에이전트를 돌리는 개발자.
- 팀이나 프로덕션 환경에서 Underdog Saluki 27B 1.0의 비용은 얼마입니까?
- 가중치는 무료이며 자체 API 가격은 없습니다. 파일은 7.89 GB에 비전용 최대 928 MB가 더해지고, Underdog은 16 GB 노트북에서 돌아간다고 말합니다. 긴 컨텍스트의 VRAM 수치는 공개되지 않았습니다.
- Underdog Saluki 27B 1.0에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 데이터가 기기에 남습니다. Apache 2.0은 상업적 이용과 수정을 허용하며, NOTICE 파일에 Qwen과 ISTA-DASLab이 표기되어 있습니다.
- Underdog Saluki 27B 1.0의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Qwen3.8-27B, Gemma 4, gpt-oss-20b 및 Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)입니다.
답변 확인일: 2026년 10월 28일.