SmolLM3-3B의 개요
SmolLM3-3B는 Hugging Face의 소형 언어 모델로, 2025년 7월 8일 공개됐습니다. 파라미터는 약 31억 개이며, H100 GPU 384장으로 24일 동안 11.2조 토큰을 학습했습니다. 학습 컨텍스트는 64K 토큰이었고, 표준 컨텍스트 확장 기법인 YaRN으로 128K까지 늘어납니다. 배포된 config는 65,536토큰으로 설정돼 있어, 더 긴 창을 쓰려면 config를 바꿔야 합니다.
모드는 두 가지입니다. 기본으로 켜져 있는 확장 사고(extended thinking)와 바로 답하는 모드이며, /think와 /no_think로 전환합니다. XML 또는 Python 호출 방식의 도구 호출을 지원하고, 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어의 여섯 개 언어를 지원합니다.
가중치는 Apache 2.0입니다. Hugging Face는 데이터 혼합, 학습 config, 중간 체크포인트, 평가 코드도 공개해 연구자가 학습을 재현하거나 수정할 수 있습니다. 가중치는 2025년 9월 10일에 마지막으로 업데이트됐고, Hugging Face는 SmolLM4를 발표하지 않았습니다. smollm GitHub 저장소에는 여전히 유지보수 커밋이 올라오지만(최근은 2026년 10월 3일) 새 모델은 없습니다.
SmolLM3-3B, 쓸 만한 가치가 있습니까?
SmolLM3의 진짜 가치는 능력이 아니라 공개성입니다. 데이터 혼합, config, 중간 체크포인트, 평가 코드까지 전체 레시피를 공개하는 모델은 드뭅니다. 언어 모델 학습 방식을 연구하거나 가르치는 사람, 알려진 상태에서 사전학습을 이어 가려는 사람은 다른 어떤 3B 모델보다 문서화가 잘 된 출발점을 여기서 얻습니다. 지난달 Hugging Face 다운로드 731,000회를 보면 그런 사람이 적지 않아 보입니다.
모델로서는 출시 당시 경쟁력이 있었지만 지금은 아닙니다. Hugging Face 자체 표에서 Llama-3.2-3B와 Qwen2.5-3B는 이기지만, thinking을 켠 Qwen3-4B에는 뒤집니다. AIME 2025에서 36.7 대 58.8, GPQA Diamond에서 41.7 대 55.3입니다. thinking의 영향은 매우 큽니다(AIME가 9.3에서 36.7로 오릅니다). 도구 호출은 thinking 없이도 BFCL에서 92.3으로 버팁니다.
2026년의 경쟁 모델들은 이미 멀리 갔습니다. IBM은 자체 환경에서 Granite 4.2 3B가 AIME 2025 78.33을 기록했다고 밝혔는데, SmolLM3 최고치의 두 배가 넘습니다. Google의 Gemma 4 E2B와 E4B는 이미지와 오디오도 읽습니다. SmolLM3는 텍스트 전용이고, 유럽 언어 여섯 개만 다루며, 2025년 9월 이후 업데이트되지 않았습니다.
낡지 않은 실용적 장점은 크기 하나입니다. BF16에서 약 6GB라 노트북에서 돌아가고, Hugging Face는 llama.cpp, MLX, ONNX, MLC, ExecuTorch 빌드를 제공합니다. 그래서 연구자가 들여다보는 바로 그 가중치를 휴대폰에 올릴 수 있습니다. 이것이 이 모델의 자리입니다. 모델에 정확히 무엇이 들어갔는지 아는 것이 Granite 4.2 3B가 주장하는 AIME 40여 점 차이보다 더 중요한 실험에 맞습니다.
제 역할을 하는 곳
LLM 학습 대학원 강의를 맡은 대학 강사
실제 사전학습 과정의 모든 단계를 학생들에게 보여 주기
공개된 데이터 혼합, config, 중간 체크포인트로 학습 시점별 모델을 비교한 뒤, 학생들이 GPU 한 장에서 체크포인트를 파인튜닝하게 합니다. Apache 2.0으로 무료이며, 다른 어떤 3B 모델도 학습 과정을 이만큼 완전히 문서화하지 않았습니다.
데이터 혼합을 연구하는 ML 연구자
알려진 기준선에서 통제된 지속 사전학습이나 ablation 실험 수행
SmolLM3-3B-Base나 중간 체크포인트에서 시작해 공개 레시피의 변수 하나를 바꿉니다. 약 3B 파라미터라 실험은 단일 노드에 들어갑니다. 원래의 24일, 384-GPU 학습을 재현하는 비용은 훨씬 큽니다.
오프라인 어시스턴트를 프로토타이핑하는 모바일 엔지니어
영어와 유럽 언어 다섯 개를 지원하는 완전 공개 온디바이스 모델 출시
ONNX 또는 ExecuTorch 빌드를 로컬에서 돌리고, 빠른 응답에는 /no_think를, 앱 동작에는 도구 호출을 씁니다. 저렴하고 라이선스가 관대하지만, 어려운 질문에는 Gemma 4 E2B나 Granite 4.2 3B가 눈에 띄게 더 잘 답합니다.
도입 전 확인할 점
- 설정
- Transformers 4.53 이상, 또는 Hermes 도구 파서를 쓰는 vLLM 및 SGLang 서버가 필요합니다. 128K 창을 쓰려면 config에서 max_position_embeddings와 rope_scaling을 수정해야 합니다.
- 연동
- Transformers, vLLM, SGLang, llama.cpp, MLX, ONNX, MLC, ExecuTorch를 지원하며, Hugging Face 컬렉션에 양자화 체크포인트가 있습니다. Hugging Face Inference Providers에는 호스팅 엔드포인트가 없습니다.
- 데이터와 개인정보
- 별도의 허용 사용 부칙 없는 Apache 2.0으로, 상업적 이용과 재배포가 허용됩니다. 자체 호스팅만 가능하므로 데이터는 자기 기기나 서버에 머뭅니다. 학습 데이터 혼합이 공개돼 있어 출처 확인이 가능합니다.
- 대규모 사용 시 비용
- 약 3.1B 파라미터, BF16에서 대략 6GB이므로 소비자용 GPU 한 장, Apple 노트북, 또는 4비트 휴대폰 빌드로 충분합니다. 유료 API가 없으니 대량 사용 비용은 자기 하드웨어 비용입니다.
- 제한
- 네이티브 컨텍스트 64K, YaRN으로 128K. 언어 여섯 개, 텍스트 전용입니다. Hugging Face는 출력이 부정확하거나 편향될 수 있다고 경고합니다. 2026년의 3B~4B 모델보다 추론이 약합니다.
좋은 점
- Apache 2.0, 데이터 혼합, config, 중간 체크포인트 공개
- /think와 /no_think로 thinking 전환
- BF16에서 약 6GB, llama.cpp, MLX, ONNX, ExecuTorch 빌드 제공
- Hugging Face에 따르면 thinking 없이 BFCL 도구 호출 92.3
아쉬운 점
- AIME 2025 36.7, Granite 4.2 3B의 자체 보고치는 78.33
- 유럽 언어 여섯 개만 지원
- 텍스트 전용
- 2025년 9월 이후 업데이트가 없고 후속 모델 발표도 없음
추천 대상
연구하거나 파인튜닝할 작고 완전히 재현 가능한 모델이 필요한 연구자와 교육자.
SmolLM3-3B 대안
SmolLM3-3B: 자주 묻는 질문
- SmolLM3-3B, 쓸 만한 가치가 있습니까?
- SmolLM3는 제품이라기보다 유리벽 안의 학습 과정입니다. 3B 모델이 어떻게 만들어지는지 배우기에는 따라올 것이 없지만, 실제 서비스용으로는 밀립니다. 평점은 5점 만점에 3.5점입니다.
- SmolLM3-3B의 가격은 얼마입니까?
- Apache 2.0의 무료 가중치이며, 학습 데이터 레시피와 체크포인트가 공개돼 있습니다. Hugging Face 자체 Inference Providers에는 호스팅 API가 없습니다.
- SmolLM3-3B의 단점은 무엇입니까?
- AIME 2025 36.7, Granite 4.2 3B의 자체 보고치는 78.33; 유럽 언어 여섯 개만 지원; 텍스트 전용; 2025년 9월 이후 업데이트가 없고 후속 모델 발표도 없음.
- SmolLM3-3B에 적합한 사람 은 누구입니까?
- 연구하거나 파인튜닝할 작고 완전히 재현 가능한 모델이 필요한 연구자와 교육자.
- 팀이나 프로덕션 환경에서 SmolLM3-3B의 비용은 얼마입니까?
- 약 3.1B 파라미터, BF16에서 대략 6GB이므로 소비자용 GPU 한 장, Apple 노트북, 또는 4비트 휴대폰 빌드로 충분합니다. 유료 API가 없으니 대량 사용 비용은 자기 하드웨어 비용입니다.
- SmolLM3-3B에 회사 데이터를 맡겨도 안전합니까?
- 별도의 허용 사용 부칙 없는 Apache 2.0으로, 상업적 이용과 재배포가 허용됩니다. 자체 호스팅만 가능하므로 데이터는 자기 기기나 서버에 머뭅니다. 학습 데이터 혼합이 공개돼 있어 출처 확인이 가능합니다.
- SmolLM3-3B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Granite 4.2, Gemma 4 및 Phi-4-multimodal입니다.
답변 확인일: 2026년 10월 26일.