Was ist edge0?
edge0 von einer Firma namens Edge0 ist ein Inferenz-Framework für Mixture-of-Experts-Sprachmodelle, das die Gewichte der Experten auf einer SSD lässt und sie einliest, sobald ein Token sie braucht. Zwei Zusätze machen das schnell genug für den Einsatz: ein Prerouter, ein kleines trainiertes Netz pro Schicht, das die Experten der nächsten Schicht einen Token im Voraus errät, damit sich die Lesezugriffe mit der Rechnung überlappen, und Recover-LoRA, ein aus dem Modell in voller Genauigkeit destillierter Adapter, der den größten Teil der durch die 4-Bit-Quantisierung verlorenen Qualität zurückholt.
Es führt die zwei eigenen Checkpoints der Firma aus, Edge0-35B-A3B-preview (auf Basis von Qwen3.6-35B-A3B) und Edge0-8B-A1B-preview (auf Basis von Ling 3.0 tiny von inclusionAI), veröffentlicht auf Hugging Face und ModelScope mit den Adaptern neben den Gewichten. Das Python-Paket und sein OpenAI-kompatibler Server laufen nur auf Macs mit Apple Silicon; eigene native Engines treiben eine App für macOS, eine für das iPhone, eine für Android und eine für Windows an, die letzten beiden auf einem gepatchten llama.cpp. Ein gemeinsames Framework für alle ist für Q4 2026 angekündigt, und der technische Bericht ist arXiv 2609.18063.
Das Repo wurde am 8. September 2026 angelegt, hat rund 8.800 GitHub-Sterne und 1.370 Forks und steht unter Apache 2.0. Release v0.1.0 (21. Oktober) liefert eine macOS-App, ein Android-APK und ein unsigniertes iPhone-IPA; v0.1.1 (29. Oktober) aktualisiert nur Android.
Lohnt sich edge0?
edge0 untermauert seine Idee, Experten von der SSD zu streamen, mit einem technischen Bericht, Qualitätswerten pro Benchmark und vier nativen Apps, und es ist schmaler, als die Zahl der Sterne vermuten lässt: Es führt zwei Checkpoints aus, beide Previews, beide vom selben Team trainiert. Die Kurzbeschreibung des Repos verspricht 35B-Modelle in etwa 2,5 GB RAM. Gemessen sind 2,9 GiB, und das ist der Spitzenwert des MLX-Allokators, nicht das, was der Prozess belegt: Auf einem MacBook M2 mit 16 GB nennt das Paper mit aktivem Prerouter 4,91 bis 6,39 GiB Prozessspeicher; der Rest sind Experten-Seiten, die das Betriebssystem zurückholen kann. Die README hat ihre Spalte umbenannt, nachdem ein externer Beitragender auf den Unterschied hingewiesen hatte.
Fast alle Geschwindigkeitsangaben stammen vom Team selbst. Auf dem Referenzrechner, einem Mac mini M4 Pro mit 24 GB, nennt die README 14,9-17,7 tok/s für das 35B und 23,9-25,3 für das 8B; das Paper meldet mit einer schnelleren Konfiguration 20,4 tok/s gegenüber 3,9 für einen normalen mlx-lm-Server, der alle 19,5 GB Gewichte im Speicher hält, was auf diesem Rechner zu wenig Platz lässt und ins Auslagern führt. Der Prerouter zählt vor allem, wenn die Gewichte nicht passen: Auf dem M2 mit 16 GB misst das Paper 3,5 tok/s, die mit der veröffentlichten Routing-Breite auf 6,4 steigen, während Abschalten auf dem Rechner mit 24 GB nur 19,9 gegenüber 20,4 kostet. Das "bis zu +59%" der README hängt also von knappem Speicher und langsamem Speichermedium ab. Die READMEs der Plattformen ergänzen ein MacBook Air M3 mit 10-12 tok/s, ein iPhone 16 Pro mit 6,4 tok/s und ein Tablet mit Snapdragon 8 Elite und 16 GB mit 6-9 tok/s, wo die erste Runde zu einem neuen Thema 10-15 Sekunden wartet, bis die Experten aus dem Flash kommen. Externe Belege sind dünn: Ein Beitrag aus der Community nennt für das 8B 14,55 und 27,17 tok/s auf einem M4 Pro, ein Bericht über 10,8 Sekunden Wartezeit bis zum ersten Token auf einem M1 Pro mit 16 GB führte zu einer Korrektur, und eine unabhängige Messung des 35B haben wir nicht gefunden.
Die Qualität ist gemessen, was wenige Projekte für lokale Inferenz bieten, aber vom Team selbst in eigenen OpenCompass-Läufen. Über fünf Benchmarks kommt das 35B in int4 im Schnitt auf 79,2 gegenüber 83,2 für die Qwen3.6-Basis in fp16, das 8B auf 69,9 gegenüber 72,7. Der Verlust sitzt im langen Schlussfolgern: AIME 2026 fällt beim 35B um 6,1 Punkte und beim 8B um 10,0, während das 8B bei MMLU-Pro 4,3 Punkte über seiner Basis liegt. Die Modellkarte nennt Werkzeugnutzung und mehrstufige Agentenarbeit in dieser Preview "currently weak", und eine Anfrage von Hugging Face, die Werte auf Papers with Code zu bestätigen, ist noch offen.
Die Last auf der SSD besteht aus Lesezugriffen und ist bei der Bandbreite bescheiden: Mit der veröffentlichten Breite bewegte der M2 mit 16 GB im Paper 50,9 bis 58,9 MiB pro Decode-Schritt, und die Platte war höchstens 12% jedes Schritts beschäftigt; die Kosten sind also Warten, nicht Verschleiß. Das Einlesen des Prompts ist die Schwachstelle; die Standardeinstellung des 8B las bei jeder Anfrage 4,06 GiB Experten neu, bis ein Schalter --prefill-ondemand dazukam. Die Engine bedient eine Anfrage nach der anderen, Android braucht für das 35B 12 GB oder mehr, und auf einem Handy mit 8 GB fiel das 8B auf 1,14 tok/s. Die Verteilung ist auf Entwickler zugeschnitten: Das iPhone-IPA ist unsigniert und muss mit deiner eigenen Apple-ID neu signiert werden (etwa 7 Tage mit einer kostenlosen), das APK ist nicht bei Google Play, die macOS-App ist ad hoc signiert und wird von Gatekeeper blockiert, bis du das Quarantäne-Attribut entfernst, und für Windows gibt es kein Binär-Release. Unter Windows kommen die 27,7 tok/s des 35B von einem Rechner mit 48 GB, auf dem die Gewichte im RAM liegen, und der eigene Vergleich des Teams sieht seine Patches gleichauf mit unverändertem llama.cpp.
Mit Janas, dem nächsten Konkurrenten, überschneidet es sich kaum. Janas führt die Familien Qwen, Gemma und Llama aus GGUF konvertiert unter Linux und Windows auf x86-64 aus, geschrieben von einem einzigen Autor, der noch keinen fremden Code mergen kann; edge0 führt zwei Modelle auf Apple Silicon und Handys aus, mit 14 Beitragenden und gemergten externen Pull Requests, darunter Tool Calling. Keines wurde auf der Hardware des anderen gemessen, und beide veröffentlichen vor allem eigene Zahlen. Wer hinter Edge0 steht, ist weniger klar als der Code: Die GitHub-Organisation, im Juli 2026 angelegt, gibt die Vereinigten Staaten als Standort an, die fünf Autoren des Papers sind namentlich genannt, und die Website verkauft Modelle auf dem Gerät für Ohrhörer, Brillen, Spielzeug und Roboter, aber ihre About-Seite lieferte bei unserer Prüfung einen 404. Die 1.370 Forks bei rund 8.800 Sternen sind ein höheres Verhältnis als die 44 zu 548 bei Janas; die Zahlen allein sagen nicht, warum.
Wo es sich lohnt
Ein Entwickler mit einem Mac mini M4 Pro mit 24 GB
Ein Modell der 35B-Klasse lokal ausführen und den Großteil des Speichers für andere Arbeit frei halten
Das Paket aus dem Ordner python installieren, den 23 GB großen Checkpoint Edge0-35B-A3B-preview laden und edge0 serve edge0-35b starten, um einen OpenAI-kompatiblen Endpunkt auf 127.0.0.1:8000 zu bekommen. Die README nennt 14,9-17,7 tok/s bei einem Allokator-Spitzenwert von 2,9 GiB; erste Antworten sind langsamer, solange die Experten von der SSD kommen, und Anfragen werden einzeln bedient.
Eine Mobile-Entwicklerin in einem Start-up für Consumer-Apps
Einen Offline-Chat auf einem iPhone 16 Pro oder einem Android-Gerät mit Snapdragon 8 Elite und 16 GB prototypisch bauen
Die iOS-App in Xcode mit deiner eigenen Bundle-ID und eingepacktem Modell bauen (etwa 20 GB für das 35B) oder das APK 0.1.1 per Sideloading installieren und ein konvertiertes GGUF importieren. Das Team nennt 6,4 tok/s für das 35B auf dem iPhone und 6-9 tok/s auf dem Android-Tablet; keine der Apps ist in einem Store, es ist also ein Machbarkeitstest, kein Produkt.
Der CTO einer Firma mit 20 Leuten, der einen privaten Assistenten auf den Macs der Belegschaft erwägt
Entscheiden, ob man sicher auf den Modellen von edge0 aufbauen kann
Apache 2.0 für Code und Gewichte, auf Basen unter Apache 2.0 (Qwen) und MIT (Ling), erlaubt kommerzielle Nutzung. Die Risiken liegen in der Reife: Preview-Checkpoints, die laut Karte bei Werkzeugnutzung schwach sind, ein gemeinsames Framework, das erst für Q4 2026 ansteht, und ein Server für eine Anfrage nach der anderen; plane also einen Mac pro gleichzeitigem Nutzer ein und neue Tests, wenn das Framework kommt.
Bevor du dich festlegst
- Einrichtung
- Python 3.10 oder neuer (3.12 empfohlen) auf einem Mac mit M1 oder neuer: den Ordner python mit pip installieren, einen Checkpoint laden (etwa 23 GB für das 35B, 4,2 GB für das 8B) und edge0 demo starten. Die macOS-App braucht macOS 14 auf M3 oder neuer; Android braucht arm64 und Android 13; unter Windows wird aus dem Quellcode gebaut, mit Visual Studio 2022, dem Vulkan SDK, Rust und Node, etwa 10-20 Minuten für die Engine.
- Integrationen
- edge0 serve und der macOS-Daemon bieten ein OpenAI-kompatibles /v1/chat/completions mit Tool Calling, dazu eine Python-API im Stil von transformers (AutoEngine). Die Engines für Android und Windows sind llama.cpp, festgelegt auf b11100, mit den Patches von edge0; Windows bedient über llama-server auf Loopback.
- Daten und Datenschutz
- Läuft lokal nach dem Download von Hugging Face oder ModelScope; die macOS-App legt Modelle, Chats und Logs in ~/.edge0 ab, und die Server binden an 127.0.0.1, wobei für Zugriff aus dem LAN unter macOS ein Bearer-Token nötig ist. Telemetrie wird nicht beschrieben. Code und Modelle stehen unter Apache 2.0; die Basen sind Qwen3.6-35B-A3B (Apache 2.0) und Ling-3.0-tiny-base (MIT).
- Kosten im großen Maßstab
- Keine kostenpflichtige Edition, die Kosten sind also Hardware: Referenz ist ein Mac mini M4 Pro mit 24 GB, und der M2 mit 16 GB aus dem Paper führt das 35B mit 6,4 tok/s aus. Die Engine bedient eine Anfrage nach der anderen, mehr gleichzeitige Nutzer heißen also mehr Rechner.
- Grenzen
- Registriert sind nur die zwei Edge0-Checkpoints; eine andere Modellfamilie braucht einen Adapter und eigene trainierte Prerouter-Köpfe und LoRA, und Trainingscode haben wir im Repo nicht gefunden. Noch kein CUDA und kein Linux-Build, Agenten- und Werkzeugnutzung sind laut Modellkarte schwach, und das für Q4 2026 geplante gemeinsame Framework kann Schnittstellen ändern.
Was gut ist
- Qualitätsverlust pro Benchmark veröffentlicht: 79,2 gegenüber 83,2 beim 35B
- 35B-MoE mit 14,9-17,7 tok/s auf einem Mac mini mit 24 GB, laut README
- Native Apps für macOS, iPhone, Android und Windows, dazu ein OpenAI-kompatibler Server
- Apache 2.0 für Code und Modelle; externe Pull Requests werden gemergt
Was nicht
- Läuft nur mit den zwei eigenen Preview-Checkpoints; kein Trainingscode im Repo, um andere anzupassen
- Das Python-Framework läuft nur auf Apple Silicon; CUDA und Linux sind noch Versprechen
- Die Geschwindigkeitsangaben sind fast alle Selbstauskunft
- Apps nur per Sideloading: unsigniertes IPA, APK außerhalb von Google Play, ad hoc signierte Mac-App
Am besten für
Nutzer von Apple Silicon mit 16 bis 24 GB, die ein Modell der 35B-Klasse lokal wollen, und Mobile-Entwickler, die Chat auf dem Gerät mit aktuellen Handys testen und Preview-Modelle in Kauf nehmen.
Alternativen zu edge0
edge0: häufige Fragen
- Lohnt sich edge0?
- Ein sorgfältiger, gut dokumentierter Weg, ein 35B-Modell auf einen Mac mit 24 GB oder ein Handy zu bringen, aber es läuft nur mit zwei Preview-Modellen nach Wahl der Macher, und fast jede Geschwindigkeitsangabe stammt von ihnen selbst. Wir bewerten es mit 3.6 von 5.
- Was kostet edge0?
- Kostenlos und quelloffen unter Apache 2.0, Modelle eingeschlossen. Keine kostenpflichtige Edition.
- Welche Nachteile hat edge0?
- Läuft nur mit den zwei eigenen Preview-Checkpoints; kein Trainingscode im Repo, um andere anzupassen; Das Python-Framework läuft nur auf Apple Silicon; CUDA und Linux sind noch Versprechen; Die Geschwindigkeitsangaben sind fast alle Selbstauskunft; Apps nur per Sideloading: unsigniertes IPA, APK außerhalb von Google Play, ad hoc signierte Mac-App.
- Für wen eignet sich edge0?
- Nutzer von Apple Silicon mit 16 bis 24 GB, die ein Modell der 35B-Klasse lokal wollen, und Mobile-Entwickler, die Chat auf dem Gerät mit aktuellen Handys testen und Preview-Modelle in Kauf nehmen.
- Was kostet edge0 für ein Team oder im Produktivbetrieb?
- Keine kostenpflichtige Edition, die Kosten sind also Hardware: Referenz ist ein Mac mini M4 Pro mit 24 GB, und der M2 mit 16 GB aus dem Paper führt das 35B mit 6,4 tok/s aus. Die Engine bedient eine Anfrage nach der anderen, mehr gleichzeitige Nutzer heißen also mehr Rechner.
- Ist edge0 sicher für Firmendaten?
- Läuft lokal nach dem Download von Hugging Face oder ModelScope; die macOS-App legt Modelle, Chats und Logs in ~/.edge0 ab, und die Server binden an 127.0.0.1, wobei für Zugriff aus dem LAN unter macOS ein Bearer-Token nötig ist. Telemetrie wird nicht beschrieben. Code und Modelle stehen unter Apache 2.0; die Basen sind Qwen3.6-35B-A3B (Apache 2.0) und Ling-3.0-tiny-base (MIT).
- Was sind die besten Alternativen zu edge0?
- Die nächsten Alternativen, die wir getestet haben, sind Janas, llama.cpp, MLX und Ollama.
Antworten geprüft am 31. Okt. 2026.