MobileMoE (S, M, L)의 개요
MobileMoE는 Meta의 FAIR 연구 그룹이 만든 기기 내 실행용 mixture-of-experts 언어 모델군으로, 2026년 5월 26일 논문으로 발표되고 2026년 6월 10일과 11일 Hugging Face에 공개되었으며 8월 말 가중치가 갱신되었습니다. mixture-of-experts 모델은 작은 피드포워드 블록을 많이 두고 토큰마다 그중 몇 개만 실행하므로, 쓰는 연산량보다 많은 지식을 담을 수 있습니다. MobileMoE는 이 아이디어를 스마트폰 규모로 옮겼습니다.
크기는 세 가지입니다. S는 전체 1.3B 중 활성 272M, M은 2.8B 중 528M, L은 5.3B 중 922M이며, 모두 각 토큰을 작은 전문가 60개 중 4개와 항상 켜져 있는 공유 전문가 1개로 보냅니다. 크기마다 Base 모델, 지시 조정된 SFT 모델, 4비트 가중치용으로 학습한 QAT 모델이 있어 체크포인트는 모두 9개이고, INT4 가중치는 각각 0.68, 1.48, 2.75GB입니다. 영어 텍스트만 읽고 쓰며 컨텍스트는 8,192토큰입니다.
Meta는 오픈소스 데이터 약 6조 토큰으로 학습한 뒤 mid-training, 미세 조정, 양자화 인식 학습을 거쳤고, ExecuTorch의 자체 MoE 커널로 Samsung Galaxy S25와 iPhone 16 Pro에서 실행했습니다. 가중치는 FAIR Noncommercial Research License로 제공되므로, 이는 연구용 공개이지 기업이 제품에 넣어 출시할 수 있는 모델이 아닙니다.
MobileMoE (S, M, L), 쓸 만한 가치가 있습니까?
MobileMoE는 mixture-of-experts가 스마트폰 규모에서도 효과가 있다는 지금까지 가장 분명한 증거이 고, 동시에 연구실 밖으로 나가지 못하게 하는 라이선스로 공개되었습니다. Meta가 14개 기초 벤치마크로 다시 평가한 결과, 지시 조정된 L 모델의 평균은 60.3으로 Qwen3.5 2B의 50.8, SmolLM2 1.7B의 50.5, AI2의 OLMoE-1B-7B의 55.6을 앞섭니다. OLMoE-1B-7B는 활성 파라미터 1.3B를 쓰는 반면 MobileMoE-L은 922M을 씁니다. Meta가 모든 모델을 같은 조건에서 직접 측정했으므로, 독립 리더보드가 아니라 자체 발표 수치입니다.
향상 폭은 고르지 않습니다. 수학과 코드에서 L이 크게 앞서 GSM8K 76.8(Qwen3.5 2B는 61.3), MATH-500 39.4(31.0), HumanEval 65.2(50.0)를 기록합니다. 약점은 지시 따르기입니다. IFEval에서 Qwen3.5 2B는 73.3, L은 69.7이고 IFBench에서는 30.3 대 18.4로, 형식이나 글자 수 제한을 지켜야 하는 어시스턴트에는 중요한 차이입니다. SFT 모델은 사고 모드 없이만 평가되었고 추론용 변형은 없습니다.
논문의 진짜 기여는 스마트폰 실측입니다. Meta의 밀집 모델 MobileLLM-Pro와 비슷한 INT4 가중치 메모리에서 MobileMoE-S는 두 대의 고급 휴대폰에서 첫 토큰까지 1.8~3.8배, 생성은 2.2~3.4배 빠르며, 8K 컨텍스트에서 최대 메모리가 최대 22% 적습니다. 양자화한 S의 평균은 43.9로 MobileLLM-Pro의 45.5보다 조금 낮아, 작은 모델은 약간의 정확도를 내주고 큰 속도를 얻으며, M은 52.7로 확실히 앞섭니다.
출시는 다른 문제입니다. 가중치는 FAIR Noncommercial Research License이고, 아키텍처가 아직 공식 Transformers에 들어가지 않아 불러오려면 trust_remote_code가 필요하며, 모델 카드는 완성된 ExecuTorch 내보내기가 아니라 PyTorch 경로를 설명합니다. 사용량도 이를 보여 줍니다. 가장 많이 내려받은 S-QAT도 지난달 Hugging Face 다운로드가 209건입니다. 기업이 실제로 출시할 수 있는 휴대폰 모델로는 Apache 2.0인 Gemma 4의 가장 작은 크기가 여전히 현실적인 비교 대상이고, MobileMoE는 그들이 다음에 따라 할지도 모르는 설계입니다.
제 역할을 하는 곳
대학 연구실의 온디바이스 ML 연구자
같은 메모리 예산에서 희소 모델과 밀집 모델을 실제 휴대폰으로 비교하기
MobileMoE-S-QAT를 Meta 논문의 밀집 기준 모델인 MobileLLM-Pro와 짝지어 Snapdragon이나 Apple 기기에서 둘 다 프로파일링합니다. 논문의 prefill 1.8~3.8배 차이가 재현할 수치가 되고, FAIR 라이선스는 바로 이런 연구를 허용합니다.
휴대폰 제조사 연구 조직의 모바일 ML 엔지니어
라이선스 가능한 모델을 고르기 전에 오프라인 수학·숙제 도우미 시제품 만들기
디스크 3.00GB인 MobileMoE-L-QAT는 양자화 후에도 GSM8K 73.2를 기록하며, Meta 표의 INT4 MobileLLM-Pro는 4.1입니다. 기능이 어떤 느낌일지 보여 주는 데는 쓸 수 있지만, 고객에게 나가는 것에는 상업 라이선스 모델이 필요합니다.
mixture-of-experts 커널을 연구하는 대학원생
모바일 CPU용 전문가 라우팅 코드를 만들고 시험하기
체크포인트는 단순하고 문서화된 구조입니다. 전문가 60개, 시그모이드 top-4 라우팅, 공유 전문가 1개, 32개 단위 그룹의 INT4 가중치와 FP32 라우터 가중치. 가입 외에는 비용 없이 자체 커널의 깔끔한 대상이 됩니다.
도입 전 확인할 점
- 설정
- Hugging Face에서 이름, 생년월일, 국가, 소속, 직무를 입력해 라이선스에 동의한 뒤 Transformers 4.57 이상과 trust_remote_code=True로 불러옵니다. 배치 평가에는 vLLM 0.10.2 이상과 enforce_eager를 Meta가 권장합니다.
- 연동
- 서버에서는 Hugging Face Transformers와 vLLM. Meta 논문은 휴대폰에서 ExecuTorch와 XNNPACK에 자체 융합 MoE 연산자를 더해 실행했고, iPhone GPU에서는 MLX를 썼습니다. 모델 카드는 PyTorch와 Transformers 경로만 설명합니다.
- 데이터와 개인정보
- 자체 호스팅이므로 프롬프트는 내 기기나 서버를 벗어나지 않습니다. FAIR Noncommercial Research License는 연구와 비상업적 목적으로만 사용을 제한하며, 접근 제한 과정에서 Hugging Face 사용자 이름과 이메일이 Meta에 공유됩니다.
- 대규모 사용 시 비용
- API 가격은 없습니다. 휴대폰에서의 비용은 배터리와 메모리로, INT4 체크포인트는 0.71, 1.59, 3.00GB이고 실행 중에는 KV 캐시가 더해집니다. L의 BF16 체크포인트는 10.65GB라 서버에서 시험하려면 약 12GB 이상의 GPU가 필요합니다.
- 제한
- 영어 전용, 컨텍스트 8,192토큰, 이미지·음성 입력 없음, 추론 모드 없음. 벤치마크 수치는 Meta 자체 재평가이며, 가장 작은 S는 양자화 후 평균이 MobileLLM-Pro보다 낮습니다.
좋은 점
- L은 14개 벤치마크 평균 60.3, Qwen3.5 2B는 50.8(Meta 재평가)
- 크기에 비해 수학과 코드가 강함: GSM8K 76.8, HumanEval 65.2
- INT4 체크포인트 0.71, 1.59, 3.00GB로 요즘 휴대폰 메모리에 들어감
- S는 휴대폰에서 MobileLLM-Pro보다 2.2~3.4배 빠르게 생성(Meta)
아쉬운 점
- FAIR Noncommercial Research License로 상업 제품에는 쓸 수 없음
- 영어 전용, 텍스트 전용, 컨텍스트 8,192토큰
- 지시 따르기에서 Qwen3.5 2B에 뒤짐(IFBench 18.4 대 30.3)
- 자체 아키텍처라 trust_remote_code 필요, 호스팅 제공업체 없음
추천 대상
상업적 이용이 목적이 아니고, 희소 모델이 휴대폰 하드웨어에서 어떻게 동작하는지 연구하는 연구자와 온디바이스 ML 엔지니어.
MobileMoE (S, M, L) 대안
MobileMoE (S, M, L): 자주 묻는 질문
- MobileMoE (S, M, L), 쓸 만한 가치가 있습니까?
- MobileMoE-L은 토큰당 10억 개 미만의 파라미터로 Meta 표의 대부분 항목에서 Qwen3.5 2B를 앞서지만, 비상업 라이선스 때문에 판매할 수 있는 휴대폰 앱에는 넣을 수 없습니다. 평점은 5점 만점에 3.6점입니다.
- MobileMoE (S, M, L)의 가격은 얼마입니까?
- 접근 제한이 있는 가입 후 무료로 내려받을 수 있으며, FAIR Noncommercial Research License에 따라 연구와 비상업적 용도로만 쓸 수 있습니다. 호스팅 API나 추론 제공업체는 없습니다.
- MobileMoE (S, M, L)의 단점은 무엇입니까?
- FAIR Noncommercial Research License로 상업 제품에는 쓸 수 없음; 영어 전용, 텍스트 전용, 컨텍스트 8,192토큰; 지시 따르기에서 Qwen3.5 2B에 뒤짐(IFBench 18.4 대 30.3); 자체 아키텍처라 trust_remote_code 필요, 호스팅 제공업체 없음.
- MobileMoE (S, M, L)에 적합한 사람은 누구입니까?
- 상업적 이용이 목적이 아니고, 희소 모델이 휴대폰 하드웨어에서 어떻게 동작하는지 연구하는 연구자와 온디바이스 ML 엔지니어.
- 팀이나 프로덕션 환경에서 MobileMoE (S, M, L)의 비용은 얼마입니까?
- API 가격은 없습니다. 휴대폰에서의 비용은 배터리와 메모리로, INT4 체크포인트는 0.71, 1.59, 3.00GB이고 실행 중에는 KV 캐시가 더해집니다. L의 BF16 체크포인트는 10.65GB라 서버에서 시험하려면 약 12GB 이상의 GPU가 필요합니다.
- MobileMoE (S, M, L)에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 프롬프트는 내 기기나 서버를 벗어나지 않습니다. FAIR Noncommercial Research License는 연구와 비상업적 목적으로만 사용을 제한하며, 접근 제한 과정에서 Hugging Face 사용자 이름과 이메일이 Meta에 공유됩니다.
- MobileMoE (S, M, L)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Gemma 4, MiniCPM5-2B, SmolLM3-3B 및 LFM3입니다.
답변 확인일: 2026년 11월 9일.