MobileMoE (S, M, L)とは？
MobileMoEは、MetaのFAIR研究グループによる端末上で動かすためのmixture-of-experts言語モデル群です。2026年5月26日の論文で発表され、2026年6月10日と11日にHugging Faceで公開、8月下旬に重みが更新されました。mixture-of-expertsモデルは小さなフィードフォワードブロックを多数持ち、トークンごとにその一部だけを動かすため、計算量以上の知識を蓄えられます。MobileMoEはこの考え方をスマートフォンの規模に持ち込みました。
サイズは3つです。Sは総パラメータ1.3Bのうちアクティブ272M、Mは2.8Bのうち528M、Lは5.3Bのうち922Mで、どれも各トークンを60個の小さなエキスパートのうち4個と、常に動く共有エキスパート1個に振り分けます。各サイズにBaseモデル、指示チューニング済みのSFTモデル、4ビット重み向けに学習したQATモデルがあり、計9つのチェックポイントで、INT4の重みはそれぞれ0.68、1.48、2.75GBです。入出力は英語のテキストのみで、コンテキストは8,192トークンです。
Metaはオープンソースのデータ約6兆トークンで学習させ、その後mid-training、ファインチューニング、量子化 を考慮した学習を行い、ExecuTorch上の独自MoEカーネルでSamsung Galaxy S25とiPhone 16 Proで動かしました。重みはFAIR Noncommercial Research Licenseで提供されるため、これは研究用の公開であり、企業が製品に組み込めるモデルではありません。
MobileMoE (S, M, L)は使う価値があるか？
MobileMoEは、mixture-of-expertsがスマートフォン規模でも割に合うことを示したこれまでで最も明確な証拠であり、同時に研究室の外には出せないライセンスで公開されています。Metaが14の基礎ベンチマークで再評価した結果、指示チューニング済みのLモデルの平均は60.3で、Qwen3.5 2Bの50.8、SmolLM2 1.7Bの50.5、AI2のOLMoE-1B-7Bの55.6を上回ります。OLMoE-1B-7Bがアクティブパラメータ1.3Bを使うのに対し、MobileMoE-Lは922Mです。Metaはすべてのモデルを同一条件で自ら測定しており、独立したリーダーボードではなく自己申告の数値です。
伸びには偏りがあります。数学とコードではLが大きく引き離し、GSM8Kで76.8(Qwen3.5 2Bは61.3)、MATH-500で39.4(31.0)、HumanEvalで65.2(50.0)です。弱点は指示への追従です。IFEvalではQwen3.5 2Bの73.3に対しLは69.7、IFBenchでは30.3に対し18.4で、形式や文字数制限を守る必要があるアシスタントでは効いてきます。SFTモデルは思考なしのモードでのみ評価され、推論用のバリアントはありません。
論文の本当の貢献はスマートフォン上の計測です。Metaの密なモデルMobileLLM-Proとほぼ同じINT4重みメモリで、MobileMoE-Sは2台のハイエンド端末で最初のトークンまでが1.8〜3.8倍、生成が2.2〜3.4倍速く、8Kコンテキストでのピークメモリは最大22%少なくなります。量子化したSの平均は43.9で、MobileLLM-Proの45.5をわずかに下 回るため、小型モデルは少しの精度と引き換えに大きな速度を得ており、Mは52.7で明確に上回ります。
製品に載せるとなると話は別です。重みはFAIR Noncommercial Research Licenseで、アーキテクチャはまだ公式のTransformersに入っていないため読み込みにtrust_remote_codeが必要で、モデルカードが説明するのはパッケージ化されたExecuTorchのエクスポートではなくPyTorchでの手順です。利用状況にもそれが表れており、最もダウンロードされたS-QATでも直近1か月のHugging Faceでのダウンロードは209件です。企業が実際に出荷できるスマホ向けモデルとしては、Apache 2.0のGemma 4の最小サイズが現実的な比較対象のままで、MobileMoEは彼らが次に取り入れるかもしれない設計です。
真価を発揮する場面
大学の研究室でオンデバイスMLを研究する研究者
同じメモリ予算で疎なモデルと密なモデルを実機のスマホで比較する
MobileMoE-S-QATを、Metaの論文で密なベースラインとして使われたMobileLLM-Proと組み合わせ、SnapdragonまたはApple端末で両方をプロファイルします。論文のprefillでの1.8〜3.8倍という差が再現すべき数値になり、FAIRライセンスはまさにこの種の研究を認めています。
スマートフォンメーカーの研究部門で働くモバイルMLエンジニア
ライセンス可能なモデルを選ぶ前に、オフラインの数学・宿題ヘルパーを試作する
ディスク上3.00GBのMobileMoE-L-QATは量子化後もGSM8Kで73.2を記録し、Metaの表にあるINT4のMobileLLM-Proは4.1です。機能の手触りを示すには使えますが、顧客に届けるものには商用ライセンスのモデルが必要です。
mixture-of-expertsのカーネルを研究する大学院生
モバイルCPU向けのエキスパートルーティングのコードを作って試す
チェックポイントは単純で文書化された構成です。エキスパート60個、シグモイドによるtop-4ルーティング、共有エキスパート1個、32個単位のグループで量子化したINT4重み、FP32のルーター重み。登録以外の費用なしで、独自カーネルの素直な対象になります。
導入前に確認すること
- 導入
- Hugging Faceでライセンスに同意し(氏名、生年月日、国、所属、職種を入力)、Transformers 4.57以降とtrust_remote_code=Trueで読み込みます。バッチ評価にはvLLM 0.10.2以降とenforce_eagerをMetaが推奨しています。
- 連携
- サーバーではHugging Face TransformersとvLLM。Metaの論文はスマホでExecuTorchとXNNPACKに独自の融合MoE演算子を加えて動かし、iPhoneのGPUではMLXを使っています。モデルカードが説明するのはPyTorchとTransformersでの手順だけです。
- データとプライバシー
- セルフホストなので、プロンプトは自分の端末やサーバーから出ません。FAIR Noncommercial Research Licenseは研究と非商用目的に限定しており、アクセス制限ではHugging Faceのユーザー名とメールアドレスがMetaに共有されます。
- 大規模利用時のコスト
- API価格は存在しません。スマホ上でのコストはバッテリーとメモリで、INT4チェックポイントは0.71、1.59、3.00GB、実行時にはKVキャッシュが加わります。LのBF16チェックポイントは10.65GBなので、サーバーでの検証には約12GB以上のGPUが必要です。
- 制限
- 英語のみ、コンテキスト8,192トークン、画像や音声の入力なし、推論モードなし。ベンチマークの数値はMeta自身の再評価で、最小のSは量子化後の平均でMobileLLM-Proを下回ります。
良い点
- Lは14ベンチマークの平均60.3、Qwen3.5 2Bは50.8(Metaの再評価)
- サイズの割に数学とコードが強い。GSM8K 76.8、HumanEval 65.2
- INT4チェックポイントは0.71、1.59、3.00GBで現行スマホのメモリに収まる
- Sはスマホ上でMobileLLM-Proより2.2〜3.4倍速く生成(Meta)
気になる点
- FAIR Noncommercial Research Licenseで商用製品には使えない
- 英語のみ、テキストのみ、コンテキスト8,192トークン
- 指示への追従でQwen3.5 2Bに劣る(IFBench 18.4対30.3)
- 独自アーキテクチャでtrust_remote_codeが必要。ホスト型プロバイダなし
おすすめの人
商用利用を目的とせず、疎なモデルがスマートフォンのハードウェアでどう振る舞うかを研究する研究者やオンデバイスMLエンジニア。
MobileMoE (S, M, L)の代替
MobileMoE (S, M, L)：よくある質問
- MobileMoE (S, M, L)は使う価値があるか？
- MobileMoE-Lはトークンあたり10億未満のパラメータでMetaの表のほとんどの行でQwen3.5 2Bを上回りますが、非商用ライセンスのため販売できるスマホアプリには載せられません。 評価は5点満点中3.6点です。
- MobileMoE (S, M, L)の料金は？
- アクセス制限付きの登録後に無料でダウンロード可能。FAIR Noncommercial Research Licenseのもと、研究と非商用利用のみ。ホスト型APIや推論プロバイダでの提供はありません。
- MobileMoE (S, M, L)の欠点は？
- FAIR Noncommercial Research Licenseで商用製品には使えない; 英語のみ、テキストのみ、コンテキスト8,192トークン; 指示への追従でQwen3.5 2Bに劣る(IFBench 18.4対30.3); 独自アーキテクチャでtrust_remote_codeが必要。ホスト型プロバイダなし.
- MobileMoE (S, M, L)は誰に向いているか？
- 商用利用を目的とせず、疎なモデルがスマートフォンのハードウェアでどう振る舞うかを研究する研究者やオンデバイスMLエンジニア。
- チームや本番環境でMobileMoE (S, M, L)を使うと費用はいくらか？
- API価格は存在しません。スマホ上でのコストはバッテリーとメモリで、INT4チェックポイントは0.71、1.59、3.00GB、実行時にはKVキャッシュが加わります。LのBF16チェックポイントは10.65GBなので、サーバーでの検証には約12GB以上のGPUが必要です。
- MobileMoE (S, M, L)は企業データを扱っても安全か？
- セルフホストなので、プロンプトは自分の端末やサーバーから出ません。FAIR Noncommercial Research Licenseは研究と非商用目的に限定しており、アクセス制限ではHugging Faceのユーザー名とメールアドレスがMetaに共有されます。
- MobileMoE (S, M, L)の代わりになるものは？
- 当サイトでレビューした中で最も近い代替はGemma 4, MiniCPM5-2B, SmolLM3-3B 、 LFM3です。
回答確認日：2026年11月9日