Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

FreeToken

Eine Serving-Engine für sehr große Mixture-of-Experts-Modelle auf NVIDIA-Consumer-GPUs, die Experten auf GPU, CPU und Arbeitsspeicher verteilt.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

4.0/5

FreeToken ist der bisher ernsthafteste Versuch, MoE-Modelle der 284B-Klasse auf einem Gaming-PC zu betreiben, gestützt von einem glaubwürdigen Forschungsteam, ist aber vier Monate alt, läuft nur auf NVIDIA und schleppt 492 offene Issues mit sich.

Was ist FreeToken?

FreeToken betreibt offene Mixture-of-Experts-Modelle (MoE), bei denen pro Token nur wenige von vielen Experten-Teilnetzen aktiv werden, auf PCs statt auf Rechenzentrumsservern. Es behandelt GPU, CPU, Arbeitsspeicher und die Verbindungen dazwischen als einen Pool: Häufig genutzte Experten liegen im GPU-Cache, der Rest wird gestreamt oder auf der CPU berechnet, und die Aufteilung zwischen Experten-Cache und KV-Speicher lässt sich zur Laufzeit ohne Neustart ändern.

Das begleitende arXiv-Paper, zu dessen 11 Autoren Ion Stoica, Matei Zaharia, Song Han und Kurt Keutzer gehören, nennt mehr als 20 unterstützte MoE-Modelle und berichtet von einem 35B-Modell auf einem Laptop, einem 284B-Modell auf einem Gaming-PC und dem 753B großen GLM-5.2 auf einer einzelnen Workstation-GPU. FreeToken bietet OpenAI- und Anthropic-kompatible APIs, kann Claude Code, Codex oder OpenCode gegen sich selbst einrichten und starten und hat eine Desktop-App für Windows und Linux. Es steht unter Apache 2.0, wurde am 20. Juli 2026 angelegt, hat rund 17.564 Sterne und veröffentlichte v0.2.2 am 9. November 2026.

Lohnt sich FreeToken?

Ein Open-Weight-Modell in Frontier-Größe zu Hause zu betreiben hieß bisher entweder starke Quantisierung in llama.cpp oder Schneckentempo über den Arbeitsspeicher. FreeToken argumentiert, dass MoE-Modelle einen dritten Weg öffnen: Weil jedes Token nur wenige Experten berührt, kann eine Consumer-GPU die gefragten halten, während die CPU den Rest bedient, sofern die Engine laufend neu entscheidet, welche welche sind. Die bandbreitenadaptive Strategie, der globale LRU-Experten-Cache und das doppelt gepufferte Prefill-Streaming sind genau dafür gebaut, und das am 17. August 2026 eingereichte Paper berichtet von einem 753B-Modell auf einer Workstation-GPU und 284B auf einem Gaming-PC.

Die Agenten-Anbindung ist der praktische Reiz. FreeToken bedient die APIs von OpenAI und Anthropic, also schreibt ft launch claude die Anbieterkonfiguration von Claude Code, installiert die CLI, falls sie fehlt, und richtet sie auf deinen lokalen Server. Semantische Ankerpunkte sichern rekurrenten Zustand und KV-Cache an den Grenzen von Tool-Aufrufen und Denkblöcken, sodass ein Agent, der seinen eigenen Kontext bearbeitet, nicht den ganzen Prompt neu berechnen lässt. Version v0.2.2 brachte spekulatives Decoding; auf einer H100 hob es Qwen3.8-27B mit einem DFlash-2-Entwurf von 50,1 auf 215,0 Tokens pro Sekunde, das 4,29-Fache, allerdings auf einer Rechenzentrumskarte und nicht auf der Consumer-Hardware, nach der das Projekt benannt ist.

Die Sicherheitsvorgaben sind vernünftig. Der Server bindet an 127.0.0.1, Port 1919, und ein API-Schlüssel ist aus, solange du nicht --api-key oder FREETOKEN_API_KEY setzt; setze einen, bevor du an eine andere Adresse bindest. Modellgewichte kommen von Hugging Face oder aus lokalen Dateien.

Die Grenzen sind die eines jungen, schnell wachsenden Projekts. Unterstützt werden nur NVIDIA RTX der Serien 30, 40 und 50, für Macs oder AMD-Karten gibt es nichts. Das Repository wurde am 20. Juli 2026 angelegt und hat 492 offene Issues, die Dokumentation enthält schon eine Anleitung zur Reparatur alter FTW-Checkpoints, und spekulatives Decoding funktioniert noch nicht mit Tensor-Parallelität über mehr als eine GPU. Gegenüber Ollama ist es bei riesigen MoE-Modellen viel leistungsfähiger und bei allem anderen viel weniger ausgereift.

Wo es sich lohnt

  • Ein Entwickler mit einem Gaming-PC der RTX-50-Serie und 128 GB RAM

    Claude Code mit einem großen offenen Modell nutzen, ohne Code an einen Anbieter zu schicken

    Mit ft serve einen unterstützten MoE-Checkpoint starten, dann mit ft launch claude Claude Code an den lokalen Anthropic-kompatiblen Endpunkt hängen. Keine Tokenrechnung; die Geschwindigkeit hängt davon ab, wie viele Experten in den VRAM passen.

  • Eine Forschungsingenieurin, die lokale Inferenz für einen internen Bericht misst

    MoE-Serving auf Consumer-Hardware mit llama.cpp vergleichen

    ft bench bw ausführen, damit die hybride CPU-GPU-Strategie die Maschine vermisst, dann dieselbe GGUF in beiden Engines laufen lassen und mit eingeschaltetem Timing-Bericht vergleichen.

Bevor du dich festlegst

Einrichtung
Die Desktop-App für Windows oder Linux von flashml.ai installieren oder uv pip install "freetoken[accel]"; dann ft serve --model mit einer Hugging-Face-ID, einem lokalen Ordner oder einer GGUF. Der Server ist bereit, wenn er 127.0.0.1:1919 meldet.
Integrationen
OpenAI-API (/v1/chat/completions, /v1/responses) und Anthropic-API (/v1/messages); ft launch für Claude Code, Codex, OpenCode, OpenClaw, Hermes und DeepSeek Harness; Checkpoints in GGUF, MXFP4, NVFP4, FP8 und BF16; eine Chat-Shell im Terminal.
Daten und Datenschutz
Läuft komplett auf deinem Rechner. Der Server lauscht standardmäßig auf 127.0.0.1:1919, ohne API-Schlüssel, solange du keinen setzt, also füge einen hinzu, bevor du ihn im Netz freigibst. ft launch überschreibt die Anbieterkonfiguration des gewählten Agenten; --dry-run zeigt die Änderungen vorher.
Kosten im großen Maßstab
Keine Lizenzkosten. Die Rechnung ist die Hardware: Arbeitsspeicher und eine aktuelle NVIDIA-GPU passend zum Modell, dazu Strom.
Grenzen
Nur NVIDIA RTX der Serien 30, 40 und 50; spekulatives Decoding nicht über TP 1 und nicht für manche Modelle mit Fenster-Attention; 492 offene Issues; Windows und WSL begrenzen gepinnten Speicher, was die automatische CPU-Layer-Einstellung nötig macht.

Was gut ist

  • Betreibt sehr große MoE-Modelle, indem es Experten auf GPU, CPU und RAM verteilt
  • APIs von OpenAI und Anthropic, Einrichtung per Befehl für Claude Code, Codex und OpenCode
  • Kontextbewusster Cache vermeidet die Neuberechnung von Agenten-Prompts
  • Standardmäßig an localhost gebunden; optionaler API-Schlüssel auf jeder Route

Was nicht

  • Nur NVIDIA RTX der Serien 30, 40 und 50; keine Unterstützung für Mac oder AMD
  • 492 offene Issues vier Monate nach dem Start
  • Die Spitzenwerte wurden auf einer H100 gemessen, nicht auf Consumer-Karten
  • Die Dokumentation braucht schon eine Anleitung zur Reparatur alter Checkpoints

Am besten für

Entwickler mit einer aktuellen NVIDIA-Gaming- oder Workstation-GPU, die sehr große offene MoE-Modelle lokal hinter ihren Coding-Agenten betreiben wollen.

Alternativen zu FreeToken

FreeToken: häufige Fragen

Lohnt sich FreeToken?
FreeToken ist der bisher ernsthafteste Versuch, MoE-Modelle der 284B-Klasse auf einem Gaming-PC zu betreiben, gestützt von einem glaubwürdigen Forschungsteam, ist aber vier Monate alt, läuft nur auf NVIDIA und schleppt 492 offene Issues mit sich. Wir bewerten es mit 4.0 von 5.
Was kostet FreeToken?
Kostenlos und Open Source (Apache 2.0), einschließlich der Desktop-App. Deine einzigen Kosten sind Hardware und Strom.
Welche Nachteile hat FreeToken?
Nur NVIDIA RTX der Serien 30, 40 und 50; keine Unterstützung für Mac oder AMD; 492 offene Issues vier Monate nach dem Start; Die Spitzenwerte wurden auf einer H100 gemessen, nicht auf Consumer-Karten; Die Dokumentation braucht schon eine Anleitung zur Reparatur alter Checkpoints.
Für wen eignet sich FreeToken?
Entwickler mit einer aktuellen NVIDIA-Gaming- oder Workstation-GPU, die sehr große offene MoE-Modelle lokal hinter ihren Coding-Agenten betreiben wollen.
Was kostet FreeToken für ein Team oder im Produktivbetrieb?
Keine Lizenzkosten. Die Rechnung ist die Hardware: Arbeitsspeicher und eine aktuelle NVIDIA-GPU passend zum Modell, dazu Strom.
Ist FreeToken sicher für Firmendaten?
Läuft komplett auf deinem Rechner. Der Server lauscht standardmäßig auf 127.0.0.1:1919, ohne API-Schlüssel, solange du keinen setzt, also füge einen hinzu, bevor du ihn im Netz freigibst. ft launch überschreibt die Anbieterkonfiguration des gewählten Agenten; --dry-run zeigt die Änderungen vorher.
Was sind die besten Alternativen zu FreeToken?
Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama, AirLLM und SGLang.

Antworten geprüft am 21. Nov. 2026.

Du entwickelst FreeToken? Zeig diese Bewertung auf deiner WebsiteFreeToken mit 4.0 von 5 bewertet auf ReviewRamble