¿Qué es MobileMoE (S, M, L)?
MobileMoE es una familia de modelos de lenguaje mixture-of-experts para ejecutarse en el dispositivo, del grupo de investigación FAIR de Meta, descrita en un artículo del 26 de mayo de 2026 y publicada en Hugging Face el 10 y el 11 de junio de 2026, con los pesos actualizados a finales de agosto. Un modelo mixture-of-experts contiene muchos bloques feed-forward pequeños y ejecuta solo unos pocos por cada token, de modo que puede guardar más conocimiento del que gasta en cómputo. MobileMoE lleva esa idea a la escala de un teléfono.
Hay tres tamaños. S tiene 272 millones de parámetros activos de 1,3 mil millones, M 528 millones de 2,8 mil millones y L 922 millones de 5,3 mil millones; cada uno envía cada token a 4 de 60 expertos pequeños más un experto compartido que siempre está activo. Cada tamaño se ofrece como modelo Base, como modelo SFT ajustado a instrucciones y como modelo QAT entrenado para pesos de 4 bits, nueve checkpoints en total, con 0,68, 1,48 y 2,75 GB de pesos INT4. Solo leen y escriben texto en inglés, con un contexto de 8.192 tokens.
Meta los entrenó con unos 6 billones de tokens de datos de código abierto, seguidos de mid-training, ajuste fino y entrenamiento consciente de la cuantización, y los ejecutó en un Samsung Galaxy S25 y un iPhone 16 Pro mediante un kernel MoE propio en ExecuTorch. Los pesos están bajo la FAIR Noncommercial Research License, así que es una publicación de investigación, no un modelo que una empresa pueda incluir en un producto.
¿Merece la pena MobileMoE (S, M, L)?
MobileMoE es la prueba más clara hasta ahora de que mixture-of-experts compensa a escala de teléfono, y llega con una licencia que lo confina al laboratorio. En la nueva evaluación de Meta sobre 14 benchmarks básicos, el modelo L ajustado a instrucciones promedia 60,3, frente a 50,8 de Qwen3.5 2B, 50,5 de SmolLM2 1.7B y 55,6 de OLMoE-1B-7B de AI2, que usa 1,3 mil millones de parámetros activos frente a los 922 millones de MobileMoE-L. Meta ejecutó todos los modelos en condiciones idénticas, así que son cifras autodeclaradas, no una clasificación independiente.
Las mejoras son desiguales. En matemáticas y código L se distancia: 76,8 en GSM8K frente a 61,3 de Qwen3.5 2B, 39,4 en MATH-500 frente a 31,0 y 65,2 en HumanEval frente a 50,0. El seguimiento de instrucciones es el punto débil. Qwen3.5 2B logra 73,3 en IFEval frente a 69,7 de L y 30,3 en IFBench frente a 18,4, algo que importa en un asistente que debe respetar un formato o un límite de palabras. Los modelos SFT solo se prueban sin modo de razonamiento; no hay variante de razonamiento.
Las cifras en teléfonos son la verdadera aportación del artículo. Con aproximadamente la misma memoria de pesos INT4 que el modelo denso MobileLLM-Pro de Meta, MobileMoE-S es entre 1,8 y 3,8 veces más rápido hasta el primer token y entre 2,2 y 3,4 veces más rápido al generar en los dos teléfonos de gama alta, con hasta un 22% menos de memoria máxima con 8K de contexto. El S cuantizado mantiene una media de 43,9 frente a 45,5 de MobileLLM-Pro, así que el modelo pequeño cambia algo de precisión por mucha velocidad, y M, con 52,7, lo supera sin discusión.
Distribuirlo es otra cuestión. Los pesos están bajo la FAIR Noncommercial Research License, la arquitectura aún no está en la versión oficial de Transformers, por lo que cargarlo requiere trust_remote_code, y las fichas del modelo documentan una ruta con PyTorch en lugar de una exportación lista para ExecuTorch. La adopción lo refleja: el checkpoint más descargado, S-QAT, registró 209 descargas en Hugging Face el último mes. Para un modelo de teléfono que una empresa pueda distribuir de verdad, los tamaños más pequeños de Gemma 4 bajo Apache 2.0 siguen siendo la comparación práctica; MobileMoE es el diseño que quizá copien a continuación.
Dónde se gana su sitio
Un investigador de ML en el dispositivo en un laboratorio universitario
Comparar un modelo disperso y uno denso con el mismo presupuesto de memoria en un teléfono real
Empareja MobileMoE-S-QAT con MobileLLM-Pro, la referencia densa del artículo de Meta, y perfila ambos en un dispositivo Snapdragon o Apple. La diferencia de 1,8 a 3,8 veces en el prefill del artículo da una cifra que reproducir, y la licencia FAIR permite exactamente este tipo de investigación.
Una ingeniera de ML móvil en el grupo de investigación de un fabricante de teléfonos
Prototipar un asistente sin conexión para matemáticas y deberes antes de elegir un modelo con licencia
MobileMoE-L-QAT, con 3,00 GB en disco, logra 73,2 en GSM8K tras la cuantización, frente a 4,1 del MobileLLM-Pro en INT4 de la tabla de Meta. Sirve para mostrar cómo se sentiría la función, pero cualquier cosa que llegue a clientes necesita un modelo con licencia comercial.
Un estudiante de posgrado que trabaja en kernels para mixture-of-experts
Crear y probar código de enrutamiento de expertos para CPU móviles
Los checkpoints usan una estructura sencilla y documentada: 60 expertos, enrutamiento top-4 con sigmoide, un experto compartido y pesos INT4 en grupos de 32 con pesos del router en FP32. Eso los convierte en un objetivo limpio para un kernel propio, sin coste más allá del registro.
Antes de decidirte
- Puesta en marcha
- Acepta la licencia en Hugging Face, que pide nombre, fecha de nacimiento, país, afiliación y puesto, y luego carga el modelo con Transformers 4.57 o posterior y trust_remote_code=True. Meta recomienda vLLM 0.10.2 o posterior con enforce_eager para evaluaciones por lotes.
- Integraciones
- Hugging Face Transformers y vLLM en servidor; el artículo de Meta ejecuta los teléfonos con ExecuTorch, XNNPACK y un operador MoE fusionado propio, y con MLX en la GPU del iPhone. Las fichas del modelo solo documentan la ruta con PyTorch y Transformers.
- Datos y privacidad
- Autoalojado, así que los prompts se quedan en tu dispositivo o servidor. La FAIR Noncommercial Research License limita el uso a investigación y fines no comerciales; el acceso restringido comparte tu nombre de usuario y correo de Hugging Face con Meta.
- Coste a escala
- No hay precio de API. En el teléfono el coste es batería y memoria: los checkpoints INT4 ocupan 0,71, 1,59 y 3,00 GB, y en ejecución se suma la caché KV. El checkpoint BF16 de L ocupa 10,65 GB, así que una prueba en servidor necesita una GPU de unos 12 GB o más.
- Límites
- Solo inglés, contexto de 8.192 tokens, sin entrada de imagen ni audio y sin modo de razonamiento. Las cifras de benchmarks son reevaluaciones de la propia Meta, y el modelo S, el más pequeño, queda por debajo de MobileLLM-Pro de media tras la cuantización.
Lo bueno
- L promedia 60,3 en 14 benchmarks frente a 50,8 de Qwen3.5 2B (nueva evaluación de Meta)
- Fuerte en matemáticas y código para su tamaño: 76,8 en GSM8K, 65,2 en HumanEval
- Checkpoints INT4 de 0,71, 1,59 y 3,00 GB que caben en la memoria de los teléfonos actuales
- S genera entre 2,2 y 3,4 veces más rápido que MobileLLM-Pro en teléfonos (Meta)
Lo malo
- La FAIR Noncommercial Research License excluye productos comerciales
- Solo inglés, solo texto, contexto de 8.192 tokens
- Por detrás de Qwen3.5 2B en seguimiento de instrucciones (IFBench 18,4 frente a 30,3)
- La arquitectura propia necesita trust_remote_code; sin proveedor alojado
Ideal para
Investigadores e ingenieros de ML en el dispositivo que estudian cómo se comportan los modelos dispersos en hardware de teléfono, cuando el uso comercial no es el objetivo.
Alternativas a MobileMoE (S, M, L)
MobileMoE (S, M, L): preguntas frecuentes
- ¿Merece la pena MobileMoE (S, M, L)?
- MobileMoE-L supera a Qwen3.5 2B en la mayoría de filas de la tabla de Meta con menos de mil millones de parámetros por token, pero la licencia no comercial lo deja fuera de cualquier app móvil que puedas vender. Le damos un 3.6 sobre 5.
- ¿Cuánto cuesta MobileMoE (S, M, L)?
- Descarga gratuita tras un registro con acceso restringido, bajo la FAIR Noncommercial Research License: solo investigación y uso no comercial. Ninguna API alojada ni proveedor de inferencia lo ofrece.
- ¿Qué inconvenientes tiene MobileMoE (S, M, L)?
- La FAIR Noncommercial Research License excluye productos comerciales; solo inglés, solo texto, contexto de 8.192 tokens; por detrás de Qwen3.5 2B en seguimiento de instrucciones (IFBench 18,4 frente a 30,3); la arquitectura propia necesita trust_remote_code; sin proveedor alojado.
- ¿Para quién es MobileMoE (S, M, L)?
- Investigadores e ingenieros de ML en el dispositivo que estudian cómo se comportan los modelos dispersos en hardware de teléfono, cuando el uso comercial no es el objetivo.
- ¿Cuánto cuesta MobileMoE (S, M, L) para un equipo o en producción?
- No hay precio de API. En el teléfono el coste es batería y memoria: los checkpoints INT4 ocupan 0,71, 1,59 y 3,00 GB, y en ejecución se suma la caché KV. El checkpoint BF16 de L ocupa 10,65 GB, así que una prueba en servidor necesita una GPU de unos 12 GB o más.
- ¿Es MobileMoE (S, M, L) seguro para los datos de la empresa?
- Autoalojado, así que los prompts se quedan en tu dispositivo o servidor. La FAIR Noncommercial Research License limita el uso a investigación y fines no comerciales; el acceso restringido comparte tu nombre de usuario y correo de Hugging Face con Meta.
- ¿Cuáles son las mejores alternativas a MobileMoE (S, M, L)?
- Las alternativas más cercanas que hemos analizado son Gemma 4, MiniCPM5-2B, SmolLM3-3B y LFM3.
Respuestas comprobadas el 9 nov 2026.