Was ist FreeToken?
FreeToken betreibt offene Mixture-of-Experts-Modelle (MoE), bei denen pro Token nur wenige von vielen Experten-Teilnetzen aktiv werden, auf PCs statt auf Rechenzentrumsservern. Es behandelt GPU, CPU, Arbeitsspeicher und die Verbindungen dazwischen als einen Pool: Häufig genutzte Experten liegen im GPU-Cache, der Rest wird gestreamt oder auf der CPU berechnet, und die Aufteilung zwischen Experten-Cache und KV-Speicher lässt sich zur Laufzeit ohne Neustart ändern.
Das begleitende arXiv-Paper, zu dessen 11 Autoren Ion Stoica, Matei Zaharia, Song Han und Kurt Keutzer gehören, nennt mehr als 20 unterstützte MoE-Modelle und berichtet von einem 35B-Modell auf einem Laptop, einem 284B-Modell auf einem Gaming-PC und dem 753B großen GLM-5.2 auf einer einzelnen Workstation-GPU. FreeToken bietet OpenAI- und Anthropic-kompatible APIs, kann Claude Code, Codex oder OpenCode gegen sich selbst einrichten und starten und hat eine Desktop-App für Windows und Linux. Es steht unter Apache 2.0, wurde am 20. Juli 2026 angelegt, hat rund 17.564 Sterne und veröffentlichte v0.2.2 am 9. November 2026.
Lohnt sich FreeToken?
Ein Open-Weight-Modell in Frontier-Größe zu Hause zu betreiben hieß bisher entweder starke Quantisierung in llama.cpp oder Schneckentempo über den Arbeitsspeicher. FreeToken argumentiert, dass MoE-Modelle einen dritten Weg öffnen: Weil jedes Token nur wenige Experten berührt, kann eine Consumer-GPU die gefragten halten, während die CPU den Rest bedient, sofern die Engine laufend neu entscheidet, welche welche sind. Die bandbreitenadaptive Strategie, der globale LRU-Experten-Cache und das doppelt gepufferte Prefill-Streaming sind genau dafür gebaut, und das am 17. August 2026 eingereichte Paper berichtet von einem 753B-Modell auf einer Workstation-GPU und 284B auf einem Gaming-PC.
Die Agenten-Anbindung ist der praktische Reiz. FreeToken bedient die APIs von OpenAI und Anthropic, also schreibt ft launch claude die Anbieterkonfiguration von Claude Code, installiert die CLI, falls sie fehlt, und richtet sie auf deinen lokalen Server. Semantische Ankerpunkte sichern rekurrenten Zustand und KV-Cache an den Grenzen von Tool-Aufrufen und Denkblöcken, sodass ein Agent, der seinen eigenen Kontext bearbeitet, nicht den ganzen Prompt neu berechnen lässt. Version v0.2.2 brachte spekulatives Decoding; auf einer H100 hob es Qwen3.8-27B mit einem DFlash-2-Entwurf von 50,1 auf 215,0 Tokens pro Sekunde, das 4,29-Fache, allerdings auf einer Rechenzentrumskarte und nicht auf der Consumer-Hardware, nach der das Projekt benannt ist.
Die Sicherheitsvorgaben sind vernünftig. Der Server bindet an 127.0.0.1, Port 1919, und ein API-Schlüssel ist aus, solange du nicht --api-key oder FREETOKEN_API_KEY setzt; setze einen, bevor du an eine andere Adresse bindest. Modellgewichte kommen von Hugging Face oder aus lokalen Dateien.
Die Grenzen sind die eines jungen, schnell wachsenden Projekts. Unterstützt werden nur NVIDIA RTX der Serien 30, 40 und 50, für Macs oder AMD-Karten gibt es nichts. Das Repository wurde am 20. Juli 2026 angelegt und hat 492 offene Issues, die Dokumentation enthält schon eine Anleitung zur Reparatur alter FTW-Checkpoints, und spekulatives Decoding funktioniert noch nicht mit Tensor-Parallelität über mehr als eine GPU. Gegenüber Ollama ist es bei riesigen MoE-Modellen viel leistungsfähiger und bei allem anderen viel weniger ausgereift.
Wo es sich lohnt
Ein Entwickler mit einem Gaming-PC der RTX-50-Serie und 128 GB RAM
Claude Code mit einem großen offenen Modell nutzen, ohne Code an einen Anbieter zu schicken
Mit ft serve einen unterstützten MoE-Checkpoint starten, dann mit ft launch claude Claude Code an den lokalen Anthropic-kompatiblen Endpunkt hängen. Keine Tokenrechnung; die Geschwindigkeit hängt davon ab, wie viele Experten in den VRAM passen.
Eine Forschungsingenieurin, die lokale Inferenz für einen internen Bericht misst
MoE-Serving auf Consumer-Hardware mit llama.cpp vergleichen
ft bench bw ausführen, damit die hybride CPU-GPU-Strategie die Maschine vermisst, dann dieselbe GGUF in beiden Engines laufen lassen und mit eingeschaltetem Timing-Bericht vergleichen.
Bevor du dich festlegst
- Einrichtung
- Die Desktop-App für Windows oder Linux von flashml.ai installieren oder uv pip install "freetoken[accel]"; dann ft serve --model mit einer Hugging-Face-ID, einem lokalen Ordner oder einer GGUF. Der Server ist bereit, wenn er 127.0.0.1:1919 meldet.
- Integrationen
- OpenAI-API (/v1/chat/completions, /v1/responses) und Anthropic-API (/v1/messages); ft launch für Claude Code, Codex, OpenCode, OpenClaw, Hermes und DeepSeek Harness; Checkpoints in GGUF, MXFP4, NVFP4, FP8 und BF16; eine Chat-Shell im Terminal.
- Daten und Datenschutz
- Läuft komplett auf deinem Rechner. Der Server lauscht standardmäßig auf 127.0.0.1:1919, ohne API-Schlüssel, solange du keinen setzt, also füge einen hinzu, bevor du ihn im Netz freigibst. ft launch überschreibt die Anbieterkonfiguration des gewählten Agenten; --dry-run zeigt die Änderungen vorher.
- Kosten im großen Maßstab
- Keine Lizenzkosten. Die Rechnung ist die Hardware: Arbeitsspeicher und eine aktuelle NVIDIA-GPU passend zum Modell, dazu Strom.
- Grenzen
- Nur NVIDIA RTX der Serien 30, 40 und 50; spekulatives Decoding nicht über TP 1 und nicht für manche Modelle mit Fenster-Attention; 492 offene Issues; Windows und WSL begrenzen gepinnten Speicher, was die automatische CPU-Layer-Einstellung nötig macht.
Was gut ist
- Betreibt sehr große MoE-Modelle, indem es Experten auf GPU, CPU und RAM verteilt
- APIs von OpenAI und Anthropic, Einrichtung per Befehl für Claude Code, Codex und OpenCode
- Kontextbewusster Cache vermeidet die Neuberechnung von Agenten-Prompts
- Standardmäßig an localhost gebunden; optionaler API-Schlüssel auf jeder Route
Was nicht
- Nur NVIDIA RTX der Serien 30, 40 und 50; keine Unterstützung für Mac oder AMD
- 492 offene Issues vier Monate nach dem Start
- Die Spitzenwerte wurden auf einer H100 gemessen, nicht auf Consumer-Karten
- Die Dokumentation braucht schon eine Anleitung zur Reparatur alter Checkpoints
Am besten für
Entwickler mit einer aktuellen NVIDIA-Gaming- oder Workstation-GPU, die sehr große offene MoE-Modelle lokal hinter ihren Coding-Agenten betreiben wollen.
Alternativen zu FreeToken
FreeToken: häufige Fragen
- Lohnt sich FreeToken?
- FreeToken ist der bisher ernsthafteste Versuch, MoE-Modelle der 284B-Klasse auf einem Gaming-PC zu betreiben, gestützt von einem glaubwürdigen Forschungsteam, ist aber vier Monate alt, läuft nur auf NVIDIA und schleppt 492 offene Issues mit sich. Wir bewerten es mit 4.0 von 5.
- Was kostet FreeToken?
- Kostenlos und Open Source (Apache 2.0), einschließlich der Desktop-App. Deine einzigen Kosten sind Hardware und Strom.
- Welche Nachteile hat FreeToken?
- Nur NVIDIA RTX der Serien 30, 40 und 50; keine Unterstützung für Mac oder AMD; 492 offene Issues vier Monate nach dem Start; Die Spitzenwerte wurden auf einer H100 gemessen, nicht auf Consumer-Karten; Die Dokumentation braucht schon eine Anleitung zur Reparatur alter Checkpoints.
- Für wen eignet sich FreeToken?
- Entwickler mit einer aktuellen NVIDIA-Gaming- oder Workstation-GPU, die sehr große offene MoE-Modelle lokal hinter ihren Coding-Agenten betreiben wollen.
- Was kostet FreeToken für ein Team oder im Produktivbetrieb?
- Keine Lizenzkosten. Die Rechnung ist die Hardware: Arbeitsspeicher und eine aktuelle NVIDIA-GPU passend zum Modell, dazu Strom.
- Ist FreeToken sicher für Firmendaten?
- Läuft komplett auf deinem Rechner. Der Server lauscht standardmäßig auf 127.0.0.1:1919, ohne API-Schlüssel, solange du keinen setzt, also füge einen hinzu, bevor du ihn im Netz freigibst. ft launch überschreibt die Anbieterkonfiguration des gewählten Agenten; --dry-run zeigt die Änderungen vorher.
- Was sind die besten Alternativen zu FreeToken?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama, AirLLM und SGLang.
Antworten geprüft am 21. Nov. 2026.