Qu’est-ce que MobileMoE (S, M, L) ?
MobileMoE est une famille de modèles de langage mixture-of-experts conçus pour tourner sur l'appareil, issue du groupe de recherche FAIR de Meta, décrite dans un article du 26 mai 2026 et publiée sur Hugging Face les 10 et 11 juin 2026, avec des poids mis à jour fin août. Un modèle mixture-of-experts contient de nombreux petits blocs feed-forward et n'en exécute que quelques-uns par token, ce qui lui permet de stocker plus de connaissances qu'il ne dépense de calcul. MobileMoE applique cette idée à l'échelle d'un téléphone.
Il existe trois tailles. S compte 272 millions de paramètres actifs sur 1,3 milliard, M 528 millions sur 2,8 milliards et L 922 millions sur 5,3 milliards ; chacune envoie chaque token vers 4 des 60 petits experts, plus un expert partagé toujours actif. Chaque taille existe en modèle Base, en modèle SFT ajusté aux instructions et en modèle QAT entraîné pour des poids sur 4 bits, soit neuf checkpoints au total, avec 0,68, 1,48 et 2,75 Go de poids INT4. Ils lisent et écrivent uniquement du texte en anglais, avec un contexte de 8 192 tokens.
Meta les a entraînés sur environ 6 000 milliards de tokens de données open source, puis par mid-training, ajustement fin et entraînement tenant compte de la quantification, et les a fait tourner sur un Samsung Galaxy S25 et un iPhone 16 Pro grâce à un kernel MoE maison dans ExecuTorch. Les poids sont sous FAIR Noncommercial Research License : c'est une publication de recherche, pas un modèle qu'une entreprise peut intégrer à un produit.
MobileMoE (S, M, L) vaut-il le coup ?
MobileMoE est la preuve la plus nette à ce jour que le mixture-of-experts paie à l'échelle d'un téléphone, et il arrive sous une licence qui le cantonne au laboratoire. Sur la réévaluation par Meta de 14 benchmarks fondamentaux, le modèle L ajusté aux instructions obtient en moyenne 60,3, contre 50,8 pour Qwen3.5 2B, 50,5 pour SmolLM2 1.7B et 55,6 pour OLMoE-1B-7B d'AI2, qui mobilise 1,3 milliard de paramètres actifs quand MobileMoE-L en utilise 922 millions. Meta a mesuré chaque modèle lui-même dans des conditions identiques : ce sont donc des chiffres autodéclarés, pas un classement indépendant.
Les gains sont inégaux. En mathématiques et en code, L prend le large : 76,8 sur GSM8K contre 61,3 pour Qwen3.5 2B, 39,4 sur MATH-500 contre 31,0, et 65,2 sur HumanEval contre 50,0. Le suivi des instructions est le point faible. Qwen3.5 2B obtient 73,3 sur IFEval contre 69,7 pour L, et 30,3 sur IFBench contre 18,4, ce qui compte pour un assistant qui doit respecter un format ou une limite de mots. Les modèles SFT ne sont testés qu'en mode sans réflexion ; il n'existe pas de variante de raisonnement.
Les mesures sur téléphone sont le véritable apport de l'article. À mémoire de poids INT4 comparable à celle de MobileLLM-Pro, le modèle dense de Meta, MobileMoE-S est de 1,8 à 3,8 fois plus rapide jusqu'au premier token et de 2,2 à 3,4 fois plus rapide en génération sur les deux téléphones haut de gamme, avec jusqu'à 22% de mémoire maximale en moins à 8K de contexte. Le S quantifié conserve une moyenne de 43,9 contre 45,5 pour MobileLLM-Pro : le petit modèle échange un peu de précision contre beaucoup de vitesse, et M, à 52,7, le dépasse nettement.
Le livrer est une autre affaire. Les poids sont sous FAIR Noncommercial Research License, l'architecture ne figure pas encore dans la version officielle de Transformers, donc le chargement exige trust_remote_code, et les fiches du modèle décrivent un chemin PyTorch plutôt qu'un export ExecuTorch prêt à l'emploi. L'adoption le reflète : le checkpoint le plus téléchargé, S-QAT, a enregistré 209 téléchargements sur Hugging Face le mois dernier. Pour un modèle de téléphone qu'une entreprise peut réellement livrer, les plus petites tailles de Gemma 4 sous Apache 2.0 restent la comparaison pratique ; MobileMoE est la conception qu'elles pourraient reprendre ensuite.
Là où il fait la différence
Un chercheur en ML embarqué dans un laboratoire universitaire
Comparer un modèle creux et un modèle dense à budget mémoire égal sur un vrai téléphone
Associez MobileMoE-S-QAT à MobileLLM-Pro, la référence dense de l'article de Meta, et profilez les deux sur un appareil Snapdragon ou Apple. L'écart de 1,8 à 3,8 fois au prefill donné par l'article fournit un chiffre à reproduire, et la licence FAIR autorise précisément ce type de recherche.
Une ingénieure ML mobile dans l'équipe de recherche d'un fabricant de téléphones
Prototyper un assistant hors ligne pour les maths et les devoirs avant de choisir un modèle sous licence commerciale
MobileMoE-L-QAT, à 3,00 Go sur disque, obtient 73,2 sur GSM8K après quantification, contre 4,1 pour MobileLLM-Pro en INT4 dans le tableau de Meta. Il montre ce que la fonction pourrait donner, mais tout ce qui est livré aux clients exige un modèle sous licence commerciale.
Un doctorant qui travaille sur des kernels mixture-of-experts
Écrire et tester du code de routage des experts pour CPU mobiles
Les checkpoints suivent une structure simple et documentée : 60 experts, routage top-4 par sigmoïde, un expert partagé et des poids INT4 par groupes de 32 avec des poids de routeur en FP32. Cela en fait une cible propre pour un kernel maison, sans coût au-delà de l'inscription.
Avant de vous engager
- Mise en route
- Acceptez la licence sur Hugging Face, qui demande nom, date de naissance, pays, affiliation et fonction, puis chargez le modèle avec Transformers 4.57 ou plus récent et trust_remote_code=True. Meta recommande vLLM 0.10.2 ou plus récent avec enforce_eager pour les évaluations par lots.
- Intégrations
- Hugging Face Transformers et vLLM sur serveur ; l'article de Meta fait tourner les téléphones avec ExecuTorch, XNNPACK et un opérateur MoE fusionné maison, et avec MLX sur le GPU de l'iPhone. Les fiches du modèle ne documentent que le chemin PyTorch et Transformers.
- Données et confidentialité
- Auto-hébergé : les prompts restent sur votre appareil ou votre serveur. La FAIR Noncommercial Research License limite l'usage à la recherche et aux fins non commerciales ; l'accès restreint transmet votre nom d'utilisateur et votre e-mail Hugging Face à Meta.
- Coût à grande échelle
- Il n'existe pas de prix d'API. Sur téléphone, le coût se mesure en batterie et en mémoire : les checkpoints INT4 font 0,71, 1,59 et 3,00 Go, et le cache KV s'y ajoute à l'exécution. Le checkpoint BF16 de L pèse 10,65 Go, donc un test sur serveur demande un GPU d'environ 12 Go ou plus.
- Limites
- Anglais seulement, contexte de 8 192 tokens, pas d'entrée image ni audio et pas de mode de raisonnement. Les chiffres de benchmarks sont des réévaluations de Meta elle-même, et le plus petit modèle, S, reste en moyenne sous MobileLLM-Pro après quantification.
Les points forts
- L obtient en moyenne 60,3 sur 14 benchmarks contre 50,8 pour Qwen3.5 2B (réévaluation de Meta)
- Solide en maths et en code pour sa taille : 76,8 sur GSM8K, 65,2 sur HumanEval
- Checkpoints INT4 de 0,71, 1,59 et 3,00 Go, compatibles avec la mémoire des téléphones actuels
- S génère 2,2 à 3,4 fois plus vite que MobileLLM-Pro sur téléphone (Meta)
Les points faibles
- La FAIR Noncommercial Research License exclut les produits commerciaux
- Anglais seulement, texte seulement, contexte de 8 192 tokens
- Derrière Qwen3.5 2B sur le suivi des instructions (IFBench 18,4 contre 30,3)
- L'architecture maison exige trust_remote_code ; aucun fournisseur hébergé
Idéal pour
Les chercheurs et ingénieurs ML embarqué qui étudient le comportement des modèles creux sur du matériel de téléphone, quand l'usage commercial n'est pas l'objectif.
Alternatives à MobileMoE (S, M, L)
MobileMoE (S, M, L) : questions fréquentes
- MobileMoE (S, M, L) vaut-il le coup ?
- MobileMoE-L bat Qwen3.5 2B sur la plupart des lignes du tableau de Meta en n'utilisant pas même un milliard de paramètres par token, mais sa licence non commerciale l'exclut de toute application mobile que vous pourriez vendre. Nous lui donnons 3.6 sur 5.
- Combien coûte MobileMoE (S, M, L) ?
- Téléchargement gratuit après une inscription à accès restreint, sous FAIR Noncommercial Research License : recherche et usage non commercial uniquement. Aucune API hébergée ni aucun fournisseur d'inférence ne le propose.
- Quels sont les inconvénients de MobileMoE (S, M, L) ?
- La FAIR Noncommercial Research License exclut les produits commerciaux; anglais seulement, texte seulement, contexte de 8 192 tokens; derrière Qwen3.5 2B sur le suivi des instructions (IFBench 18,4 contre 30,3); l'architecture maison exige trust_remote_code ; aucun fournisseur hébergé.
- À qui s’adresse MobileMoE (S, M, L) ?
- Les chercheurs et ingénieurs ML embarqué qui étudient le comportement des modèles creux sur du matériel de téléphone, quand l'usage commercial n'est pas l'objectif.
- Combien coûte MobileMoE (S, M, L) pour une équipe ou en production ?
- Il n'existe pas de prix d'API. Sur téléphone, le coût se mesure en batterie et en mémoire : les checkpoints INT4 font 0,71, 1,59 et 3,00 Go, et le cache KV s'y ajoute à l'exécution. Le checkpoint BF16 de L pèse 10,65 Go, donc un test sur serveur demande un GPU d'environ 12 Go ou plus.
- MobileMoE (S, M, L) est-il sûr pour les données de l’entreprise ?
- Auto-hébergé : les prompts restent sur votre appareil ou votre serveur. La FAIR Noncommercial Research License limite l'usage à la recherche et aux fins non commerciales ; l'accès restreint transmet votre nom d'utilisateur et votre e-mail Hugging Face à Meta.
- Quelles sont les meilleures alternatives à MobileMoE (S, M, L) ?
- Les alternatives les plus proches que nous avons testées sont Gemma 4, MiniCPM5-2B, SmolLM3-3B et LFM3.
Réponses vérifiées le 9 nov. 2026.