O que é MobileMoE (S, M, L)?
MobileMoE é uma família de modelos de linguagem mixture-of-experts para rodar no próprio aparelho, do grupo de pesquisa FAIR da Meta, descrita em um artigo de 26 de maio de 2026 e publicada no Hugging Face em 10 e 11 de junho de 2026, com os pesos atualizados no fim de agosto. Um modelo mixture-of-experts tem muitos blocos feed-forward pequenos e executa só alguns deles a cada token, então consegue guardar mais conhecimento do que gasta em processamento. O MobileMoE leva essa ideia à escala de um celular.
Há três tamanhos. S tem 272 milhões de parâmetros ativos de 1,3 bilhão, M 528 milhões de 2,8 bilhões e L 922 milhões de 5,3 bilhões; cada um envia cada token para 4 de 60 especialistas pequenos, mais um especialista compartilhado sempre ativo. Cada tamanho vem como modelo Base, como modelo SFT ajustado a instruções e como modelo QAT treinado para pesos de 4 bits, nove checkpoints no total, com 0,68, 1,48 e 2,75 GB de pesos INT4. Eles leem e escrevem apenas texto em inglês, com contexto de 8.192 tokens.
A Meta os treinou com cerca de 6 trilhões de tokens de dados de código aberto, seguidos de mid-training, ajuste fino e treinamento com consciência de quantização, e os rodou em um Samsung Galaxy S25 e um iPhone 16 Pro com um kernel MoE próprio no ExecuTorch. Os pesos estão sob a FAIR Noncommercial Research License, então é uma publicação de pesquisa, não um modelo que uma empresa possa colocar em um produto.
MobileMoE (S, M, L) vale a pena?
O MobileMoE é a prova mais clara até agora de que mixture-of-experts compensa na escala de um celular, e chega sob uma licença que o prende ao laboratório. Na reavaliação da Meta em 14 benchmarks básicos, o modelo L ajustado a instruções tem média de 60,3, contra 50,8 do Qwen3.5 2B, 50,5 do SmolLM2 1.7B e 55,6 do OLMoE-1B-7B da AI2, que gasta 1,3 bilhão de parâmetros ativos contra os 922 milhões do MobileMoE-L. A Meta rodou todos os modelos ela mesma em condições idênticas, então são números autodeclarados, não um ranking independente.
Os ganhos são desiguais. Em matemática e código o L se distancia: 76,8 no GSM8K contra 61,3 do Qwen3.5 2B, 39,4 no MATH-500 contra 31,0 e 65,2 no HumanEval contra 50,0. Seguir instruções é o ponto fraco. O Qwen3.5 2B marca 73,3 no IFEval contra 69,7 do L e 30,3 no IFBench contra 18,4, o que pesa para um assistente que precisa respeitar um formato ou um limite de palavras. Os modelos SFT são testados apenas sem modo de raciocínio; não existe variante de raciocínio.
Os números em celulares são a contribuição real do artigo. Com mais ou menos a mesma memória de pesos INT4 do MobileLLM-Pro, o modelo denso da Meta, o MobileMoE-S é de 1,8 a 3,8 vezes mais rápido até o primeiro token e de 2,2 a 3,4 vezes mais rápido na geração nos dois celulares topo de linha, com até 22% menos memória de pico com 8K de contexto. O S quantizado mantém média de 43,9 contra 45,5 do MobileLLM-Pro, então o modelo pequeno troca um pouco de precisão por muita velocidade, e o M, com 52,7, o supera com folga.
Colocar em produção é outra história. Os pesos estão sob a FAIR Noncommercial Research License, a arquitetura ainda não está na versão oficial do Transformers, então carregar exige trust_remote_code, e os cartões do modelo documentam um caminho em PyTorch em vez de uma exportação pronta para ExecuTorch. A adoção reflete isso: o checkpoint mais baixado, S-QAT, teve 209 downloads no Hugging Face no último mês. Para um modelo de celular que uma empresa possa de fato distribuir, os menores tamanhos do Gemma 4 sob Apache 2.0 continuam sendo a comparação prática; o MobileMoE é o projeto que eles talvez copiem a seguir.
Onde ele se destaca
Um pesquisador de ML embarcado em um laboratório universitário
Comparar um modelo esparso e um denso com o mesmo orçamento de memória em um celular de verdade
Coloque o MobileMoE-S-QAT ao lado do MobileLLM-Pro, a referência densa do artigo da Meta, e faça o perfil dos dois em um aparelho Snapdragon ou Apple. A diferença de 1,8 a 3,8 vezes no prefill do artigo dá um número para reproduzir, e a licença FAIR permite exatamente esse tipo de pesquisa.
Uma engenheira de ML mobile no grupo de pesquisa de uma fabricante de celulares
Prototipar um ajudante offline de matemática e lição de casa antes de escolher um modelo licenciável
O MobileMoE-L-QAT, com 3,00 GB em disco, marca 73,2 no GSM8K após a quantização, contra 4,1 do MobileLLM-Pro em INT4 na tabela da Meta. Ele mostra como o recurso poderia ser, mas qualquer coisa entregue a clientes precisa de um modelo com licença comercial.
Um aluno de pós-graduação que trabalha com kernels para mixture-of-experts
Criar e testar código de roteamento de especialistas para CPUs móveis
Os checkpoints usam uma estrutura simples e documentada: 60 especialistas, roteamento top-4 com sigmoide, um especialista compartilhado e pesos INT4 em grupos de 32 com pesos do roteador em FP32. Isso os torna um alvo limpo para um kernel próprio, sem custo além do cadastro.
Antes de decidir
- Configuração
- Aceite a licença no Hugging Face, que pede nome, data de nascimento, país, afiliação e cargo, e carregue com Transformers 4.57 ou mais recente e trust_remote_code=True. A Meta recomenda vLLM 0.10.2 ou mais recente com enforce_eager para avaliações em lote.
- Integrações
- Hugging Face Transformers e vLLM em servidor; o artigo da Meta roda os celulares com ExecuTorch, XNNPACK e um operador MoE fundido próprio, e com MLX na GPU do iPhone. Os cartões do modelo documentam só o caminho com PyTorch e Transformers.
- Dados e privacidade
- Auto-hospedado, então os prompts ficam no seu aparelho ou servidor. A FAIR Noncommercial Research License limita o uso a pesquisa e fins não comerciais; o acesso restrito compartilha seu nome de usuário e e-mail do Hugging Face com a Meta.
- Custo em escala
- Não há preço de API. No celular o custo é bateria e memória: os checkpoints INT4 têm 0,71, 1,59 e 3,00 GB, e o cache KV se soma na execução. O checkpoint BF16 do L tem 10,65 GB, então um teste em servidor precisa de uma GPU com cerca de 12 GB ou mais.
- Limites
- Só inglês, contexto de 8.192 tokens, sem entrada de imagem ou áudio e sem modo de raciocínio. Os números de benchmark são reavaliações da própria Meta, e o menor modelo, S, fica abaixo do MobileLLM-Pro na média após a quantização.
O que é bom
- L tem média de 60,3 em 14 benchmarks contra 50,8 do Qwen3.5 2B (reavaliação da Meta)
- Forte em matemática e código para o tamanho: 76,8 no GSM8K, 65,2 no HumanEval
- Checkpoints INT4 de 0,71, 1,59 e 3,00 GB cabem na memória dos celulares atuais
- S gera texto 2,2 a 3,4 vezes mais rápido que o MobileLLM-Pro em celulares (Meta)
O que não é
- A FAIR Noncommercial Research License impede produtos comerciais
- Só inglês, só texto, contexto de 8.192 tokens
- Fica atrás do Qwen3.5 2B em seguir instruções (IFBench 18,4 contra 30,3)
- Arquitetura própria exige trust_remote_code; sem provedor hospedado
Ideal para
Pesquisadores e engenheiros de ML embarcado que estudam como modelos esparsos se comportam em hardware de celular, quando uso comercial não é o objetivo.
Alternativas ao MobileMoE (S, M, L)
MobileMoE (S, M, L): perguntas frequentes
- MobileMoE (S, M, L) vale a pena?
- O MobileMoE-L supera o Qwen3.5 2B na maioria das linhas da tabela da Meta usando menos de um bilhão de par âmetros por token, mas a licença não comercial o mantém fora de qualquer app de celular que você possa vender. Damos nota 3.6 de 5.
- Quanto custa MobileMoE (S, M, L)?
- Download gratuito após um cadastro com acesso restrito, sob a FAIR Noncommercial Research License: só pesquisa e uso não comercial. Nenhuma API hospedada nem provedor de inferência o oferece.
- Quais são as desvantagens de MobileMoE (S, M, L)?
- A FAIR Noncommercial Research License impede produtos comerciais; só inglês, só texto, contexto de 8.192 tokens; fica atrás do Qwen3.5 2B em seguir instruções (IFBench 18,4 contra 30,3); arquitetura própria exige trust_remote_code; sem provedor hospedado.
- Para quem MobileMoE (S, M, L) é indicado?
- Pesquisadores e engenheiros de ML embarcado que estudam como modelos esparsos se comportam em hardware de celular, quando uso comercial não é o objetivo.
- Quanto custa MobileMoE (S, M, L) para uma equipe ou em produção?
- Não há preço de API. No celular o custo é bateria e memória: os checkpoints INT4 têm 0,71, 1,59 e 3,00 GB, e o cache KV se soma na execução. O checkpoint BF16 do L tem 10,65 GB, então um teste em servidor precisa de uma GPU com cerca de 12 GB ou mais.
- MobileMoE (S, M, L) é seguro para dados da empresa?
- Auto-hospedado, então os prompts ficam no seu aparelho ou servidor. A FAIR Noncommercial Research License limita o uso a pesquisa e fins não comerciais; o acesso restrito compartilha seu nome de usuário e e-mail do Hugging Face com a Meta.
- Quais são as melhores alternativas ao MobileMoE (S, M, L)?
- As alternativas mais próximas que analisamos são Gemma 4, MiniCPM5-2B, SmolLM3-3B e LFM3.
Respostas verificadas em 9 de nov. de 2026.