2026년 추천 소형 및 온디바이스 AI 모델
저희가 리뷰한 소형 및 온디바이스 AI 모델 14개 중 현재 추천은 Gemma 4, Ministral 3 (3B, 8B and 14B) 및 LFM3입니다. 각 제품을 저희 평점순으로 정렬하고 가격, 평가 요약, 추천 대상을 적었습니다.
작성: Andrew Miller · 2026년 11월 2일 업데이트 · 리뷰 방법
순위 산정 방법: 각 제품의 가격, 문서, 정책, 그리고 독립 벤치마크가 있으면 그것까지 바탕으로 한 리뷰의 5점 만점 평점순으로 정렬합니다. 모든 정보는 리뷰에 적힌 날짜에 확인했습니다. 제휴 수수료는 받지 않습니다.
- 1
Gemma 4는 이제 32B 파라미터 이하 오픈 제품군의 기본 선택지입니다. 라이선스가 마침내 품질에 걸맞게 됐기 때문입니다.
추천 대상: 관대한 라이선스와 멀티모달 입력을 원하며 온디바이스, 로컬, 단일 GPU 앱을 만드는 개발자.
가격: 가중치는 Apache 2.0으로 무료입니다. Google Cloud와 서드파티에서 호스팅됩니다. OpenRouter는 1M 토큰당 31B를 $0.20/$0.40, 26B A4B를 약 $0.08/$0.26에 올려 두었습니다.
Gemma 4 리뷰 읽기4.4/5 - 2
깔끔한 라이선스에 모든 크기에서 추론과 비전을 갖춘 완전한 소형 모델 계열입니다. 다만 Mistral 자체 비교 여러 항목에서 여전히 Qwen이 근소하게 앞섭니다.
추천 대상: 노트북, 엣지 기기, 저렴한 호스팅 추론용으로 비전을 갖춘 허용적 라이선스의 소형 모델이 필요한 팀에 맞습니다.
가격: Apache 2.0의 오픈 웨이트. Mistral API: 1M 토큰당 14B $0.20, 8B $0.15, 3B $0.10이며 입력과 출력이 같습니다. batch는 절반 가격입니다.
Ministral 3 (3B, 8B and 14B) 리뷰 읽기4.1/5 - 3
에이전트부터 음성, 타입 지정 의사결정까지 각각 약 1기가바이트에 들어가는 쓸 만한 2B 모델 6종이지만, 라이선스는 여전히 매출 $10 million에서 멈춥니다.
추천 대상: 휴대폰, 노트북, GPU 한 장에서 돌아가야 하는 온디바이스 에이전트, 음성 기능, 빠른 분류기를 만드는 매출 $10 million 미만의 개발자와 회사.
가격: LFM Open License에 따른 무료 가중치(상업 이용은 연 매출 $10M 미만만). VentureBeat가 로그인한 콘솔에서 확인해 보도한 Liquid API 가격: LFM3-1.7B 1M 토큰당 입력 $0.08 / 출력 $0.20, VL $0.10 / $0.50, Audio와 Omni $0.10 / $1.00에 오디오 토큰 별도. 호스팅 d1 의사결정은 입력 1M당 $0.02, 출력 무료.
LFM3 리뷰 읽기4.0/5 - 4
도구를 호출하고 코드를 고치는 능력은 4B 모델 수준인 2B 모델입니다. 다만 아는 것은 4B 모델보다 눈에 띄게 적습니다.
추천 대상: 휴대폰, 노트북, 엣지 하드웨어에 도구 호출이나 코딩 도우미를 넣으려는 개발자, 그리고 문서화가 완전한 소형 모델 학습 과정을 원하는 연구자에게 맞습니다.
가격: Apache 2.0에 따라 가중치와 학습 데이터가 무료입니다.
MiniCPM5-2B 리뷰 읽기4.0/5 - 5
Bonsai 2 9B는 쓸 만한 90억 파라미터 비전 모델을 휴대폰 메모리에 넣었고, 압축으로 잃은 것 대부분을 추론 중심 작업에서 다시 내줍니다.
추천 대상: 추론의 마지막 몇 점보다 메모리가 더 중요한 휴대폰, 노트북, 6 GB GPU에 로컬 어시스턴트나 코딩 도우미를 탑재하는 개발자.
가격: Apache 2.0으로 무료입니다. Darkbloom 콘솔에서 호스팅되며, 가격은 공개되지 않았습니다.
Ternary Bonsai 2 9B 리뷰 읽기4.0/5 - 6
74B는 100B 미만 모델 중 상위 5위 안의 점수를 워크스테이션 GPU 한 장에 올립니다. 하지만 이름의 24GB는 가중치 크기일 뿐, 필요한 그래픽카드 용량이 아닙니다.
추천 대상: 32 GB 이상의 NVIDIA GPU나 RTX 또는 DGX Spark를 갖고 쓸 만한 로컬 멀티모달 에이전트 모델을 원하는 엔지니어, 그리고 Jetson이나 RTX에서 음성 어시스턴트를 만드는 기기 제조사.
가격: OpenMDW-1.1 오픈 가중치 무료. 두 모델 모두 공개된 종량 API 가격은 없으며, E4B는 build.nvidia.com 엔드포인트가 있습니다.
Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) 리뷰 읽기3.9/5 - 7
출시 14개월이 지난 지금도 gpt-oss-20b는 호스팅하기에 가장 저렴한 쓸 만한 추론 모델입니다. 다만 같은 16GB에서 이제 Gemma 4가 더 많은 일을 합니다.
추천 대상: 이미지 입력이 필요 없고, 노트북이나 소비자용 GPU 한 장에서 무료로, 비공개로, 빠르게 돌아가는 추론 모델을 원하는 개발자.
가격: Apache 2.0 무료 가중치입니다. OpenRouter 호스팅은 100만(1M) 토큰당 입력 $0.018 / 출력 $0.09부터이며, Artificial Analysis는 $0.07 / $0.25로 표시합니다.
gpt-oss-20b 리뷰 읽기3.8/5 - 8
도구 테스트에서 Qwen3.6-35B-A3B보다 도구를 잘 부르는 노트북 크기의 에이전트 모델이지만, 매출 $10 million에서 멈추는 라이선스가 발목을 잡습니다.
추천 대상: 노트북이나 GPU 한 장에서 도구 호출 에이전트를 돌리면서, 매출 $10 million 기준 아래에 있거나 호스팅 API를 쓰는 개발자와 소규모 회사.
가격: LFM Open License에 따른 무료 가중치(상업 이용은 연 매출 $10M 미만만). Liquid Console: 1M 토큰당 입력 $0.10 / 출력 $1.00. OpenRouter: $0.05 / $0.70.
LFM2.5-24B-A2B 리뷰 읽기3.8/5 - 9
이례적으로 문서화가 잘되어 있고 프롬프트보다 사실을 잘 지킵니다. 하지만 영어 재작성 열 건 중 한 건은 여전히 무언가를 바꾸며, 대표 점수는 내일 바뀔 수도 있는 탐지기 하나에 기대고 있습니다.
추천 대상: AI로 초안을 쓰고 그 결과가 자기 글처럼 들리기를 원하며, 자기 기기에서 처리하고, 보내기 전에 숫자와 이름을 교정할 사람.
가격: Apache 2.0으로 무료입니다. 가중치, GGUF 파일, 데스크톱 앱, CLI가 포함됩니다. 호스팅 서비스는 없습니다.
humanizer (12B) 리뷰 읽기3.7/5 - 10
iFlytek 자체 차트로는 Spark-X2.6-4B가 지금까지 가장 강한 4B 에이전트 모델입니다. 하지만 외부에서 확인된 것은 하나도 없고, 가장 큰 우위 두 개는 iFlytek만 본 벤치마크에서 나왔습니다.
추천 대상: 노트북이나 엣지 기기에서 로컬 에이전트를 만들고, 자기 작업으로 주장을 검증할 수 있으며, iFlytek 모델을 써도 문제가 없는 개발자.
가격: Apache 2.0으로 무료이며 자체 하드웨어에서 실행합니다. 4B 모델의 호스팅 가격은 공개되지 않았습니다.
Spark-X2.6-4B 리뷰 읽기3.7/5 - 11
파라미터 대비 수학 실력은 놀랍지만 수학 밖에서는 쓸모가 없고, 지금까지는 만든 사람들만 채점했습니다.
추천 대상: 경시 수학 풀이가 저렴하게 많이 필요하고 답을 자동으로 검증할 수 있는 연구자와 에듀테크 팀.
가격: Apache 2.0의 무료 오픈 웨이트입니다. 호스팅 API는 없으며, 자체 GPU 비용만 듭니다.
Limite 1B - Violetto 리뷰 읽기3.6/5 - 12
다른 어떤 모델도 닿지 못한 크기에서 믿을 만한 휴대폰 명령 모델입니다. 다만 자체 차트가 뒷받침하는 것보다 넓은 주장으로 팔리고 있습니다.
추천 대상: 작고 고정된 동작 집합을 가진 기기 및 앱 제조사로, 매우 제한된 하드웨어에서 오프라인으로 돌리기 위해 모델을 파인튜닝할 곳.
가격: Apache 2.0 오픈 가중치는 무료이고, 사전 빌드 엔진도 무료로 내려받을 수 있습니다. Cactus Platform은 2비트 사후 학습, 데이터셋, 전체 파인튜닝을 판매하며 가격은 공개하지 않습니다.
Needle 3 리뷰 읽기3.6/5 - 13
수학보다 도구 호출이 중요할 때 돌릴 2비트 Qwen3.8-27B입니다. 다만 Underdog의 점수는 측정값이 아니라 약속으로 받아들여야 합니다.
추천 대상: 수학과 추론 손실을 감수하고 16 GB 노트북이나 소비자용 GPU 한 장에서 로컬 도구 호출 에이전트를 돌리는 개발자.
가격: Apache 2.0으로 가중치는 무료입니다. 호스팅 API 가격은 없으며, 자신의 하드웨어 비용을 내거나 Underdog 앱 안에서 씁니다.
Underdog Saluki 27B 1.0 리뷰 읽기3.6/5 - 14
SmolLM3 는 제품이라기보다 유리벽 안의 학습 과정입니다. 3B 모델이 어떻게 만들어지는지 배우기에는 따라올 것이 없지만, 실제 서비스용으로는 밀립니다.
추천 대상: 연구하거나 파인튜닝할 작고 완전히 재현 가능한 모델이 필요한 연구자와 교육자.
가격: Apache 2.0의 무료 가중치이며, 학습 데이터 레시피와 체크포인트가 공개돼 있습니다. Hugging Face 자체 Inference Providers에는 호스팅 API가 없습니다.
SmolLM3-3B 리뷰 읽기3.5/5
출처
이 순위에 있는 각 리뷰의 주요 공식 출처입니다. 전체 출처는 각 리뷰에 있습니다.
- Gemma 4: Google: Gemma 4, byte for byte the most capable open models
- Ministral 3 (3B, 8B and 14B): Mistral AI: Introducing Mistral 3
- LFM3: Liquid AI blog: Introducing LFM3
- MiniCPM5-2B: Hugging Face: openbmb/MiniCPM5-2B model card
- Ternary Bonsai 2 9B: Hugging Face: prism-ml/Ternary-Bonsai-2-9B-gguf model card
- Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB): Hugging Face: NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF model card
- gpt-oss-20b: Hugging Face: openai/gpt-oss-20b
- LFM2.5-24B-A2B: Hugging Face: LFM2.5-24B-A2B model card
- humanizer (12B): Hugging Face: jialinyyzz/humanizer model card
- Spark-X2.6-4B: Hugging Face: XHToken/Spark-X2.6-4B model card
- Limite 1B - Violetto: Paradigma: Limite 1B - Violetto release blog
- Needle 3: Cactus Compute: Needle 3 release page
- Underdog Saluki 27B 1.0: Hugging Face: Underdog Saluki 27B 1.0 model card
- SmolLM3-3B: Hugging Face: HuggingFaceTB/SmolLM3-3B model card