Qu’est-ce que edge0 ?
edge0, d'une société nommée Edge0, est un framework d'inférence pour modèles de langage mixture-of-experts qui laisse les poids des experts sur un SSD et les lit au moment où chaque token en a besoin. Deux ajouts le rendent assez rapide pour servir : un prerouter, un petit réseau entraîné par couche qui devine les experts de la couche suivante avec un token d'avance pour que les lectures se superposent au calcul, et Recover-LoRA, un adaptateur distillé du modèle en pleine précision qui récupère l'essentiel de la qualité perdue par la quantification sur 4 bits.
Il fait tourner les deux checkpoints maison, Edge0-35B-A3B-preview (bâti sur Qwen3.6-35B-A3B) et Edge0-8B-A1B-preview (bâti sur Ling 3.0 tiny d'inclusionAI), publiés sur Hugging Face et ModelScope avec les adaptateurs à côté des poids. Le paquet Python et son serveur compatible OpenAI ne fonctionnent que sur les Mac Apple Silicon ; des moteurs natifs distincts animent une app macOS, une app iPhone, une app Android et une app Windows, les deux dernières sur un llama.cpp modifié. Un framework unifié pour toutes est promis pour Q4 2026, et le rapport technique est arXiv 2609.18063.
Le repo a été créé le 8 septembre 2026, compte environ 8 800 étoiles GitHub et 1 370 forks, et il est sous licence Apache 2.0. La version v0.1.0 (21 octobre) fournit une app macOS, un APK Android et un IPA iPhone non signé ; la v0.1.1 (29 octobre) ne met à jour qu'Android.
edge0 vaut-il le coup ?
edge0 appuie son idée de lire les experts depuis le SSD sur un rapport technique, des scores de qualité par benchmark et quatre apps natives, et il est plus étroit que son nombre d'étoiles ne le laisse penser : il fait tourner deux checkpoints, tous deux en preview, tous deux entraînés par la même équipe. La description d'une ligne du repo promet des modèles de 35B dans environ 2,5 GB de RAM. Le chiffre mesuré est de 2,9 GiB, et c'est le pic de l'allocateur MLX, pas ce qu'occupe le processus : sur un MacBook M2 de 16 GB, l'article donne une mémoire de processus de 4,91 à 6,39 GiB avec le prerouter actif, le reste étant des pages d'experts que le système d'exploitation peut récupérer. Le README a renommé sa colonne après qu'un contributeur extérieur a signalé l'écart.
Presque tous les chiffres de vitesse viennent de l'équipe. Sur la machine de référence, un Mac mini M4 Pro de 24 GB, le README annonce 14,9-17,7 tok/s pour le 35B et 23,9-25,3 pour le 8B ; l'article, avec une configuration plus rapide, rapporte 20,4 tok/s contre 3,9 pour un serveur mlx-lm ordinaire qui garde en mémoire les 19,5 GB de poids, ce qui sur cette machine laisse trop peu de place et fait paginer. Le prerouter compte surtout quand les poids ne tiennent pas : sur le M2 de 16 GB, l'article mesure 3,5 tok/s qui montent à 6,4 avec la largeur de routage publiée, alors que sur la machine de 24 GB le désactiver ne coûte que 19,9 contre 20,4. Le « jusqu'à +59% » du README dépend donc d'une mémoire serrée et d'un stockage lent. Les README des plateformes ajoutent un MacBook Air M3 à 10-12 tok/s, un iPhone 16 Pro à 6,4 tok/s et une tablette Snapdragon 8 Elite de 16 GB à 6-9 tok/s, où le premier tour sur un nouveau sujet attend 10-15 secondes que les experts sortent de la mémoire flash. Les données extérieures sont rares : un message de la communauté donne le 8B à 14,55 et 27,17 tok/s sur un M4 Pro, un signalement d'attentes de 10,8 secondes avant le premier token sur un M1 Pro de 16 GB a mené à une correction, et nous n'avons trouvé aucune mesure indépendante du 35B.
La qualité est mesurée, ce que peu de projets d'inférence locale proposent, mais par l'équipe, sur ses propres passes OpenCompass. Sur cinq benchmarks, le 35B en int4 obtient en moyenne 79,2 contre 83,2 pour la base Qwen3.6 en fp16, et le 8B 69,9 contre 72,7. La perte se concentre sur le raisonnement long : AIME 2026 recule de 6,1 points sur le 35B et de 10,0 sur le 8B, tandis que le MMLU-Pro du 8B dépasse sa base de 4,3 points. La fiche du modèle qualifie l'usage d'outils et le travail d'agent en plusieurs étapes de « currently weak » dans cette preview, et une demande de Hugging Face pour vérifier les scores sur Papers with Code reste ouverte.
La charge sur le SSD est faite de lectures, et modeste en débit : avec la largeur publiée, le M2 de 16 GB de l'article a transféré 50,9 à 58,9 MiB par pas de décodage, le disque étant occupé au plus 12% de chaque pas ; le coût est donc l'attente, pas l'usure. La lecture du prompt est le point faible ; le réglage par défaut du 8B relisait 4,06 GiB d'experts à chaque requête jusqu'à l'ajout d'une option --prefill-ondemand. Le moteur traite une requête à la fois, Android demande 12 GB ou plus pour le 35B, et sur un smartphone de 8 GB le 8B est tombé à 1,14 tok/s. La distribution vise les développeurs : l'IPA iPhone n'est pas signé et doit être re-signé avec votre propre identifiant Apple (environ 7 jours avec un compte gratuit), l'APK n'est pas sur Google Play, l'app macOS est signée ad hoc et bloquée par Gatekeeper tant que vous n'avez pas retiré l'attribut de quarantaine, et Windows n'a pas de version binaire. Sous Windows, les 27,7 tok/s du 35B viennent d'une machine de 48 GB où les poids tiennent en RAM, et la comparaison de l'équipe place ses correctifs au niveau de llama.cpp non modifié.
Face à Janas, le rival le plus proche, les deux se recoupent à peine. Janas fait tourner les familles Qwen, Gemma et Llama converties depuis GGUF sous Linux et Windows sur x86-64, écrit par un seul auteur qui ne peut pas encore intégrer de code extérieur ; edge0 fait tourner deux modèles sur Apple Silicon et smartphone, avec 14 contributeurs et des pull requests extérieures intégrées, dont l'appel d'outils. Aucun n'a été mesuré sur le matériel de l'autre, et tous deux publient surtout leurs propres chiffres. Qui se trouve derrière Edge0 est moins clair que le code : l'organisation GitHub, créée en juillet 2026, indique les États-Unis comme localisation, les cinq auteurs de l'article sont nommés, et le site vend des modèles embarqués pour écouteurs, lunettes, jouets et robots, mais sa page About renvoyait une erreur 404 lors de notre vérification. Les 1 370 forks pour environ 8 800 étoiles forment un rapport plus élevé que les 44 pour 548 de Janas ; les chiffres seuls ne disent pas pourquoi.
Là où il fait la différence
Un développeur équipé d'un Mac mini M4 Pro de 24 GB
Faire tourner en local un modèle de classe 35B en gardant l'essentiel de la mémoire libre pour d'autres tâches
Installez le paquet du dossier python, téléchargez le checkpoint Edge0-35B-A3B-preview de 23 GB et lancez edge0 serve edge0-35b pour obtenir un point d'accès compatible OpenAI sur 127.0.0.1:8000. Le README annonce 14,9-17,7 tok/s pour un pic d'allocateur de 2,9 GiB ; les premières réponses sont plus lentes tant que les experts sortent du SSD, et les requêtes sont servies une par une.
Une ingénieure mobile dans une start-up d'apps grand public
Prototyper un chat hors ligne sur un iPhone 16 Pro ou un appareil Android Snapdragon 8 Elite de 16 GB
Compilez l'app iOS dans Xcode avec votre propre bundle ID et le modèle embarqué (environ 20 GB pour le 35B), ou installez à la main l'APK 0.1.1 et importez un GGUF converti. L'équipe annonce 6,4 tok/s pour le 35B sur l'iPhone et 6-9 tok/s sur la tablette Android ; aucune des deux apps n'est dans un store, c'est donc un test de faisabilité, pas un produit.
Le CTO d'une entreprise de 20 personnes qui envisage un assistant privé sur les Mac du personnel
Décider s'il est sûr de construire sur les modèles d'edge0
Apache 2.0 sur le code et les poids, avec des bases sous Apache 2.0 (Qwen) et MIT (Ling), autorise l'usage commercial. Les risques tiennent à la maturité : des checkpoints preview que la fiche juge faibles en usage d'outils, un framework unifié encore attendu pour Q4 2026 et un serveur à une requête à la fois ; prévoyez donc un Mac par utilisateur simultané et de nouveaux tests à l'arrivée du framework.
Avant de vous engager
- Mise en route
- Python 3.10 ou plus récent (3.12 recommandé) sur un Mac M1 ou plus récent : installez le dossier python avec pip, téléchargez un checkpoint (environ 23 GB pour le 35B, 4,2 GB pour le 8B) et lancez edge0 demo. L'app macOS demande macOS 14 sur M3 ou plus récent ; Android demande arm64 et Android 13 ; sous Windows, il faut compiler avec Visual Studio 2022, le Vulkan SDK, Rust et Node, environ 10-20 minutes pour le moteur.
- Intégrations
- edge0 serve et le daemon macOS exposent un /v1/chat/completions compatible OpenAI avec appel d'outils, plus une API Python à la manière de transformers (AutoEngine). Les moteurs Android et Windows sont llama.cpp figé sur b11100 avec les correctifs d'edge0 ; Windows sert via llama-server en loopback.
- Données et confidentialité
- Fonctionne en local après téléchargement depuis Hugging Face ou ModelScope ; l'app macOS range modèles, conversations et journaux dans ~/.edge0, et les serveurs écoutent sur 127.0.0.1, un jeton bearer étant exigé pour l'accès réseau local sous macOS. Aucune télémétrie n'est décrite. Le code et les modèles sont sous Apache 2.0 ; les bases sont Qwen3.6-35B-A3B (Apache 2.0) et Ling-3.0-tiny-base (MIT).
- Coût à grande échelle
- Pas d'édition payante, le coût est donc le matériel : la référence est un Mac mini M4 Pro de 24 GB, et le M2 de 16 GB de l'article fait tourner le 35B à 6,4 tok/s. Le moteur traite une requête à la fois, donc plus d'utilisateurs simultanés veut dire plus de machines.
- Limites
- Seuls les deux checkpoints Edge0 sont enregistrés ; une autre famille de modèles demande un adaptateur ainsi que ses propres têtes de prerouter et LoRA entraînées, et nous n'avons trouvé aucun code d'entraînement dans le repo. Pas encore de CUDA ni de version Linux, l'usage d'agents et d'outils est faible selon la fiche du modèle, et le framework unifié prévu pour Q4 2026 peut changer les interfaces.
Les points forts
- Perte de qualité publiée par benchmark : 79,2 contre 83,2 pour le 35B
- MoE de 35B à 14,9-17,7 tok/s sur un Mac mini de 24 GB, selon le README
- Apps natives pour macOS, iPhone, Android et Windows, plus un serveur compatible OpenAI
- Apache 2.0 pour le code et les modèles ; les pull requests extérieures sont intégrées
Les points faibles
- Ne fait tourner que ses deux checkpoints preview ; pas de code d'entraînement dans le repo pour en adapter d'autres
- Le framework Python ne fonctionne que sur Apple Silicon ; CUDA et Linux restent des promesses
- Les chiffres de vitesse sont presque tous autodéclarés
- Apps installables à la main seulement : IPA non signé, APK hors Google Play, app Mac signée ad hoc
Idéal pour
Les utilisateurs d'Apple Silicon avec 16 à 24 GB qui veulent un modèle de classe 35B en local, et les développeurs mobiles qui testent un chat embarqué sur des smartphones récents, prêts à accepter des modèles preview.
Alternatives à edge0
edge0 : questions fréquentes
- edge0 vaut-il le coup ?
- Une façon soignée et bien documentée de faire tenir un modèle de 35B sur un Mac de 24 GB ou un smartphone, mais il ne fait tourner que deux modèles preview choisis par ses auteurs, et presque tous les chiffres de vitesse viennent d'eux. Nous lui donnons 3.6 sur 5.
- Combien coûte edge0 ?
- Gratuit et open source sous Apache 2.0, modèles compris. Pas d'édition payante.
- Quels sont les inconvénients de edge0 ?
- Ne fait tourner que ses deux checkpoints preview ; pas de code d'entraînement dans le repo pour en adapter d'autres; le framework Python ne fonctionne que sur Apple Silicon ; CUDA et Linux restent des promesses; les chiffres de vitesse sont presque tous autodéclarés; apps installables à la main seulement : IPA non signé, APK hors Google Play, app Mac signée ad hoc.
- À qui s’adresse edge0 ?
- Les utilisateurs d'Apple Silicon avec 16 à 24 GB qui veulent un modèle de classe 35B en local, et les développeurs mobiles qui testent un chat embarqué sur des smartphones récents, prêts à accepter des modèles preview.
- Combien coûte edge0 pour une équipe ou en production ?
- Pas d'édition payante, le coût est donc le matériel : la référence est un Mac mini M4 Pro de 24 GB, et le M2 de 16 GB de l'article fait tourner le 35B à 6,4 tok/s. Le moteur traite une requête à la fois, donc plus d'utilisateurs simultanés veut dire plus de machines.
- edge0 est-il sûr pour les données de l’entreprise ?
- Fonctionne en local après téléchargement depuis Hugging Face ou ModelScope ; l'app macOS range modèles, conversations et journaux dans ~/.edge0, et les serveurs écoutent sur 127.0.0.1, un jeton bearer étant exigé pour l'accès réseau local sous macOS. Aucune télémétrie n'est décrite. Le code et les modèles sont sous Apache 2.0 ; les bases sont Qwen3.6-35B-A3B (Apache 2.0) et Ling-3.0-tiny-base (MIT).
- Quelles sont les meilleures alternatives à edge0 ?
- Les alternatives les plus proches que nous avons testées sont Janas, llama.cpp, MLX et Ollama.
Réponses vérifiées le 31 oct. 2026.