¿Qué es edge0?
edge0, de una empresa llamada Edge0, es un framework de inferencia para modelos de lenguaje mixture-of-experts que deja los pesos de los expertos en un SSD y los lee a medida que cada token los necesita. Dos añadidos lo hacen lo bastante rápido para usarlo: un prerouter, una pequeña red entrenada por capa que adivina los expertos de la capa siguiente con un token de antelación para que las lecturas se solapen con el cálculo, y Recover-LoRA, un adaptador destilado del modelo a precisión completa que recupera la mayor parte de la calidad perdida con la cuantización a 4 bits.
Ejecuta los dos checkpoints propios de la empresa, Edge0-35B-A3B-preview (basado en Qwen3.6-35B-A3B) y Edge0-8B-A1B-preview (basado en Ling 3.0 tiny de inclusionAI), publicados en Hugging Face y ModelScope con los adaptadores junto a los pesos. El paquete de Python y su servidor compatible con OpenAI solo funcionan en Mac con Apple Silicon; motores nativos aparte mueven una app para macOS, una para iPhone, una para Android y una para Windows, las dos últimas sobre un llama.cpp parcheado. Se promete un framework unificado para todas ellas en Q4 2026, y el informe técnico es arXiv 2609.18063.
El repo se creó el 8 de septiembre de 2026, tiene unas 8.800 estrellas en GitHub y 1.370 forks, y su licencia es Apache 2.0. La versión v0.1.0 (21 de octubre) incluye una app para macOS, un APK para Android y un IPA sin firmar para iPhone; la v0.1.1 (29 de octubre) solo actualiza Android.
¿Merece la pena edge0?
edge0 respalda su idea de leer los expertos desde el SSD con un informe técnico, cifras de calidad por benchmark y cuatro apps nativas, y es más limitado de lo que sugieren sus estrellas: ejecuta dos checkpoints, ambos preview, ambos entrenados por el mismo equipo. La descripción de una línea del repo promete modelos de 35B en unos 2,5 GB de RAM. La cifra medida es de 2,9 GiB, y es el pico del asignador de MLX, no lo que ocupa el proceso: en un MacBook M2 de 16 GB el artículo da una memoria de proceso de 4,91 a 6,39 GiB con el prerouter activo; el resto son páginas de expertos que el sistema operativo puede recuperar. El README cambió el nombre de su columna después de que un colaborador externo señalara la diferencia.
Casi todas las cifras de velocidad son del propio equipo. En el Mac mini M4 Pro de referencia, con 24 GB, el README da 14,9-17,7 tok/s para el 35B y 23,9-25,3 para el 8B; el artículo, con una configuración más rápida, informa de 20,4 tok/s frente a 3,9 de un servidor mlx-lm normal que mantiene en memoria los 19,5 GB de pesos, lo que en esa máquina deja muy poco margen y obliga a paginar. El prerouter importa sobre todo cuando los pesos no caben: en el M2 de 16 GB el artículo mide 3,5 tok/s que suben a 6,4 con el ancho de enrutado publicado, mientras que en la máquina de 24 GB desactivarlo solo cuesta 19,9 frente a 20,4. El "hasta +59%" del README depende, por tanto, de poca memoria y almacenamiento lento. Los README de cada plataforma añaden un MacBook Air M3 a 10-12 tok/s, un iPhone 16 Pro a 6,4 tok/s y una tableta Snapdragon 8 Elite de 16 GB a 6-9 tok/s, donde el primer turno sobre un tema nuevo espera 10-15 segundos a que los expertos salgan de la flash. Las pruebas externas son escasas: un mensaje de la comunidad da el 8B a 14,55 y 27,17 tok/s en un M4 Pro, un informe de esperas de 10,8 segundos antes del primer token en un M1 Pro de 16 GB llevó a una corrección, y no encontramos ninguna medición independiente del 35B.
La calidad está medida, algo que pocos proyectos de inferencia local ofrecen, pero la mide el equipo con sus propias pruebas en OpenCompass. En cinco benchmarks, el 35B en int4 promedia 79,2 frente a 83,2 de la base Qwen3.6 en fp16, y el 8B 69,9 frente a 72,7. La pérdida se concentra en el razonamiento largo: AIME 2026 cae 6,1 puntos en el 35B y 10,0 en el 8B, mientras que el MMLU-Pro del 8B queda 4,3 puntos por encima de su base. La ficha del modelo califica el uso de herramientas y el trabajo de agente en varios pasos de "currently weak" en esta preview, y sigue abierta una petición de Hugging Face para verificar las puntuaciones en Papers with Code.
La carga sobre el SSD son lecturas, y modesta en ancho de banda: con el ancho publicado, el M2 de 16 GB del artículo movió de 50,9 a 58,9 MiB por paso de decodificación, con el disco ocupado como mucho el 12% de cada paso, así que el coste es esperar, no desgaste. La lectura del prompt es el punto débil; la configuración por defecto del 8B volvía a leer 4,06 GiB de expertos en cada petición hasta que se añadió la opción --prefill-ondemand. El motor atiende una petición cada vez, Android necesita 12 GB o más para el 35B, y en un móvil de 8 GB el 8B bajó a 1,14 tok/s. La distribución es para desarrolladores: el IPA para iPhone no está firmado y tienes que volver a firmarlo con tu propio Apple ID (unos 7 días con uno gratuito), el APK no está en Google Play, la app para macOS lleva firma ad hoc y Gatekeeper la bloquea hasta que quitas el atributo de cuarentena, y Windows no tiene versión binaria. En Windows, los 27,7 tok/s del 35B salen de una máquina de 48 GB donde los pesos caben en la RAM, y la comparación del propio equipo deja sus parches a la par de llama.cpp sin modificar.
Frente a Janas, el rival más cercano, apenas se solapan. Janas ejecuta las familias Qwen, Gemma y Llama convertidas desde GGUF en Linux y Windows sobre x86-64, escrito por un solo autor que aún no puede integrar código ajeno; edge0 ejecuta dos modelos en Apple Silicon y móviles, con 14 colaboradores y pull requests externos integrados, entre ellos las llamadas a herramientas. Ninguno se ha medido en el hardware del otro, y los dos publican sobre todo sus propias cifras. Quién está detrás de Edge0 está menos claro que el código: la organización de GitHub, creada en julio de 2026, indica Estados Unidos como ubicación, los cinco autores del artículo tienen nombre, y la web vende modelos en el dispositivo para auriculares, gafas, juguetes y robots, pero su página About devolvió un 404 cuando la consultamos. Los 1.370 forks frente a unas 8.800 estrellas son una proporción mayor que los 44 frente a 548 de Janas; las cifras por sí solas no explican por qué.
Dónde se gana su sitio
Un desarrollador con un Mac mini M4 Pro de 24 GB
Ejecutar en local un modelo de clase 35B y dejar libre la mayor parte de la memoria para otro trabajo
Instala el paquete de la carpeta python, descarga el checkpoint Edge0-35B-A3B-preview de 23 GB y ejecuta edge0 serve edge0-35b para tener un endpoint compatible con OpenAI en 127.0.0.1:8000. El README da 14,9-17,7 tok/s con un pico del asignador de 2,9 GiB; las primeras respuestas son más lentas mientras los expertos salen del SSD, y las peticiones se atienden de una en una.
Una ingeniera móvil en una start-up de apps de consumo
Prototipar un chat sin conexión en un iPhone 16 Pro o en un Android Snapdragon 8 Elite de 16 GB
Compila la app de iOS en Xcode con tu propio bundle ID y el modelo empaquetado dentro (unos 20 GB para el 35B), o instala a mano el APK 0.1.1 e importa un GGUF convertido. El equipo da 6,4 tok/s para el 35B en el iPhone y 6-9 tok/s en la tableta Android; ninguna de las dos apps está en una tienda, así que es una prueba de viabilidad, no un producto.
El CTO de una empresa de 20 personas que estudia un asistente privado en los Mac de la plantilla
Decidir si es seguro construir sobre los modelos de edge0
Apache 2.0 en el código y los pesos, sobre bases con licencia Apache 2.0 (Qwen) y MIT (Ling), permite el uso comercial. Los riesgos son de madurez: checkpoints preview que la ficha considera flojos en uso de herramientas, un framework unificado aún pendiente para Q4 2026 y un servidor de una petición cada vez, así que cuenta con un Mac por usuario simultáneo y con repetir las pruebas cuando llegue el framework.
Antes de decidirte
- Puesta en marcha
- Python 3.10 o posterior (se recomienda 3.12) en un Mac M1 o posterior: instala con pip la carpeta python, descarga un checkpoint (unos 23 GB el 35B, 4,2 GB el 8B) y ejecuta edge0 demo. La app de macOS necesita macOS 14 en M3 o posterior; Android necesita arm64 y Android 13; en Windows hay que compilar con Visual Studio 2022, el Vulkan SDK, Rust y Node, unos 10-20 minutos para el motor.
- Integraciones
- edge0 serve y el daemon de macOS ofrecen un /v1/chat/completions compatible con OpenAI con llamadas a herramientas, además de una API de Python al estilo de transformers (AutoEngine). Los motores de Android y Windows son llama.cpp fijado en b11100 con los parches de edge0; Windows sirve a través de llama-server en loopback.
- Datos y privacidad
- Funciona en local tras descargar de Hugging Face o ModelScope; la app de macOS guarda modelos, chats y registros en ~/.edge0, y los servidores escuchan en 127.0.0.1, con un token bearer obligatorio para el acceso por LAN en macOS. No se describe telemetría. El código y los modelos son Apache 2.0; las bases son Qwen3.6-35B-A3B (Apache 2.0) y Ling-3.0-tiny-base (MIT).
- Coste a escala
- Sin edición de pago, así que el coste es el hardware: la referencia es un Mac mini M4 Pro de 24 GB, y el M2 de 16 GB del artículo ejecuta el 35B a 6,4 tok/s. El motor atiende una petición cada vez, así que más usuarios simultáneos significa más máquinas.
- Límites
- Solo están registrados los dos checkpoints de Edge0; otra familia de modelos necesita un adaptador y sus propias cabezas de prerouter y LoRA entrenadas, y no encontramos código de entrenamiento en el repo. Aún no hay CUDA ni versión para Linux, el uso de agentes y herramientas es flojo según la ficha del modelo, y el framework unificado previsto para Q4 2026 puede cambiar las interfaces.
Lo bueno
- Pérdida de calidad publicada por benchmark: 79,2 frente a 83,2 en el 35B
- MoE de 35B a 14,9-17,7 tok/s en un Mac mini de 24 GB, según el README
- Apps nativas para macOS, iPhone, Android y Windows, más un servidor compatible con OpenAI
- Apache 2.0 para código y modelos; se integran pull requests externos
Lo malo
- Solo ejecuta sus dos checkpoints preview; no hay código de entrenamiento en el repo para adaptar otros
- El framework de Python es solo para Apple Silicon; CUDA y Linux siguen siendo promesas
- Las cifras de velocidad son casi todas autodeclaradas
- Las apps solo se instalan a mano: IPA sin firmar, APK fuera de Google Play, app de Mac con firma ad hoc
Ideal para
Usuarios de Apple Silicon con 16 a 24 GB que quieren un modelo de clase 35B en local, y desarrolladores móviles que prueban chat en el dispositivo en teléfonos recientes, dispuestos a aceptar modelos preview.
Alternativas a edge0
edge0: preguntas frecuentes
- ¿Merece la pena edge0?
- Una forma cuidadosa y bien documentada de meter un modelo de 35B en un Mac de 24 GB o en un móvil, pero solo ejecuta dos modelos preview elegidos por sus autores y casi todas las cifras de velocidad son suyas. Le damos un 3.6 sobre 5.
- ¿Cuánto cuesta edge0?
- Gratuito y de código abierto bajo Apache 2.0, modelos incluidos. Sin edición de pago.
- ¿Qué inconvenientes tiene edge0?
- Solo ejecuta sus dos checkpoints preview; no hay código de entrenamiento en el repo para adaptar otros; el framework de Python es solo para Apple Silicon; CUDA y Linux siguen siendo promesas; las cifras de velocidad son casi todas autodeclaradas; las apps solo se instalan a mano: IPA sin firmar, APK fuera de Google Play, app de Mac con firma ad hoc.
- ¿Para quién es edge0?
- Usuarios de Apple Silicon con 16 a 24 GB que quieren un modelo de clase 35B en local, y desarrolladores móviles que prueban chat en el dispositivo en teléfonos recientes, dispuestos a aceptar modelos preview.
- ¿Cuánto cuesta edge0 para un equipo o en producción?
- Sin edición de pago, así que el coste es el hardware: la referencia es un Mac mini M4 Pro de 24 GB, y el M2 de 16 GB del artículo ejecuta el 35B a 6,4 tok/s. El motor atiende una petición cada vez, así que más usuarios simultáneos significa más máquinas.
- ¿Es edge0 seguro para los datos de la empresa?
- Funciona en local tras descargar de Hugging Face o ModelScope; la app de macOS guarda modelos, chats y registros en ~/.edge0, y los servidores escuchan en 127.0.0.1, con un token bearer obligatorio para el acceso por LAN en macOS. No se describe telemetría. El código y los modelos son Apache 2.0; las bases son Qwen3.6-35B-A3B (Apache 2.0) y Ling-3.0-tiny-base (MIT).
- ¿Cuáles son las mejores alternativas a edge0?
- Las alternativas más cercanas que hemos analizado son Janas, llama.cpp, MLX y Ollama.
Respuestas comprobadas el 31 oct 2026.