Was ist DwarfStar (ds4)?
DwarfStar, veröffentlicht als ds4, ist eine kleine native Inferenz-Engine in C von Salvatore Sanfilippo (antirez, dem Schöpfer von Redis). Sie unterstützt bewusst nur wenige Modelle: DeepSeek V4 Flash und V4.1 Flash, DeepSeek V4 PRO, GLM 5.2, 5.3 und 5.3 Flash sowie Qwen3.8 Flash Next. Sie ist kein allgemeiner GGUF-Runner; sie lädt nur die GGUF-Dateien, die das Projekt selbst erzeugt.
Das Repository enthält eine Multi-Turn-CLI (`ds4`), einen nativen Coding-Agenten (`ds4-agent`), einen HTTP-Server (`ds4-server`) mit Chat- und Responses-Endpunkten im OpenAI-Stil sowie einem Messages-Endpunkt im Anthropic-Stil und `ds4-eval` für Regressionstests der Fähigkeiten. Hauptziel ist Metal auf Apple Silicon, dazu CUDA (DGX Spark und Multi-GPU-Karten wie die L40S) und ROCm auf Strix Halo. SSD-Streaming lässt Modelle, die größer als der RAM sind, von der Platte laufen, und zwei Rechner können sich ein Modell per RDMA oder Layer-Pipeline teilen.
Lohnt sich DwarfStar (ds4)?
ds4 ist der direkteste Weg, DeepSeek V4 Flash auf Hardware laufen zu lassen, die ein Mensch besitzen kann. Das README zielt auf Macs mit 96 GB oder mehr für DeepSeek und GLM und 64 GB für Qwen3.8 Flash Next; der Einstiegsdownload, Flash Q2, ist etwa 81 GiB groß. Die Community-Seite verzeichnet 34,4 Token pro Sekunde bei der Generierung und 557 Token pro Sekunde beim Prefill mit 32K Kontext auf einem M5 Max mit 128 GB, und das README nennt etwa 126 Token pro Sekunde insgesamt über 16 Sitzungen auf acht L40S-Karten. Das Repository hat seit seinem ersten Commit im Mai 2026 etwa 24.400 GitHub-Sterne.
Der enge Zuschnitt ist Absicht, kein Zufall. Statt eines generischen Loaders bekommt jedes Modell eigene Prompt-Vorlagen, ein eigenes Tool-Call-Format, ein eigenes Quantisierungsrezept und eine eigene KV-Cache-Behandlung, und das Projekt testet Laden, Tool-Calls, Server und Agent gemeinsam. SSD-Streaming erweitert die Reichweite: Die Q2-Version von Qwen3.8 hält 95,37 GiB N-Gramm-Tabellen auf der Platte und nur 41,73 GiB Gewichte im Speicher, sodass eine schnelle lokale SSD Teil der Hardwareanforderung wird.
Der Server lauscht standardmäßig auf 127.0.0.1:8000, und die Doku rät, Authentifizierung und TLS davorzuschalten, bevor man ihn mit --host 0.0.0.0 öffnet; eine eingebaute Authentifizierung beschreibt sie nicht. Gespeicherte Agenten-Sitzungen liegen in ~/.ds4/kvcache und können, wie das README warnt, private Informationen enthalten.
Der Haken: Das README nennt die Software Beta-Qualität und sagt, ein Modell könne entfernt werden, wenn ein besseres erscheint; ein Setup, das heute läuft, ist also kein Versprechen für den nächsten Monat. Es gibt keine getaggten Releases, nur einen sich bewegenden main-Branch mit etwa 873 offenen Issues und Pull Requests. Der Code entsteht mit starker Hilfe von KI-Coding-Agenten, was das Projekt offen sagt, und seine dokumentierte Antwort auf fehlende Funktionen lautet, den eigenen Coding-Agenten sie ergänzen zu lassen.
Unser Fazit: Für einen Entwickler mit einem 128-GB-Mac, der ein lokales Modell will, das gut genug ist, um einen bezahlten Coding-Assistenten für einen Teil der Arbeit zu ersetzen, ist ds4 heute die bessere Wette als ein allgemeiner Runner; wer einen stabilen, unterstützten Server für ein Team braucht, sollte einen Commit festschreiben und llama.cpp als Rückfallebene behalten.
Wo es sich lohnt
Ein freiberuflicher Entwickler mit einem MacBook Pro mit 128 GB
Claude Code mit einem lokalen Modell nutzen, wenn API-Rechnung oder Datenregeln eines Kunden die Cloud ausschließen
Lade Flash Q2 (etwa 81 GiB), starte `ds4-server` und richte die Anthropic-Basis-URL von Claude Code darauf aus, nach der Client-Anleitung. Die Kosten sind Laptop und Strom; die Community-Seite verzeichnet etwa 34 Token pro Sekunde Generierung auf einem M5 Max.
Ein kleines ML-Team mit einem Rack voller L40S-Karten
DeepSeek V4 Flash für mehrere interne Nutzer bereitstellen, ohne neuere GPUs zu kaufen
Mit `make cuda-generic` bauen und den Server mit mehreren Sitzungen betreiben; das README nennt etwa 126 Token pro Sekunde insgesamt über 16 Sitzungen auf acht L40S-Karten. Einen authentifizierenden Proxy und TLS davorschalten, da die Doku beides nicht beschreibt.
Eine Forscherin, die Quantisierungsrezepte vergleicht
Prüfen, ob ein Modell nach aggressiver 2-Bit-Quantisierung der Experten noch richtig antwortet
`ds4-eval` mit der core- oder hard-Suite gegen jede GGUF laufen lassen und die Traces vergleichen; das Repository enthält auch Werkzeuge zum Bauen von GGUF-Dateien und imatrix-Daten.
Bevor du dich festlegst
- Einrichtung
- Repository klonen, `make` ausführen (oder `make cuda-spark`, `make strix-halo`, `make cuda-generic`), dann `./download_model.sh ds4f-q2`; der Modell-Download ist mit etwa 81 GiB der langsame Teil.
- Integrationen
- Chat- und Responses-Endpunkte von OpenAI sowie Messages-Endpunkt von Anthropic, mit Tools und SSE-Streaming; dokumentierte Client-Setups für Pi, OpenCode, Codex CLI und Claude Code.
- Daten und Datenschutz
- Alles läuft lokal; der Server bindet an 127.0.0.1:8000, solange du kein --host angibst. Gespeicherte Sitzungen in ~/.ds4/kvcache können private Gesprächsinhalte enthalten. Telemetrie erwähnt das README nicht.
- Kosten im großen Maßstab
- Keine Lizenzkosten. Die echten Kosten sind Hardware: 96 GB oder mehr Unified Memory für DeepSeek oder GLM oder mehrere CUDA-Karten, plus schneller SSD-Platz für die größeren GGUF-Dateien.
- Grenzen
- Eine feste, veränderliche Liste unterstützter Modelle; keine getaggten Releases; Sitzungen mit Bildern lassen sich noch nicht speichern; keine dokumentierte Authentifizierung oder TLS.
Was gut ist
- Führt DeepSeek V4 Flash laut Projektangaben mit etwa 34 Token pro Sekunde auf einem 128-GB-Mac aus
- OpenAI- und Anthropic-kompatibler Server, der mit Claude Code, Codex CLI und OpenCode funktioniert
- SSD-Streaming und RDMA zwischen zwei Rechnern tragen Modelle über den RAM eines einzelnen Rechners hinaus
- Standardmäßig nur lokal: Der Server bindet an 127.0.0.1
Was nicht
- Nur die GGUF-Dateien des Projekts laden; Modelle können wegfallen
- Beta-Qualität, keine getaggten Releases, etwa 873 offene Issues und Pull Requests
- Braucht mindestens 64 GB und für größere Modelle eine schnelle SSD
- Keine dokumentierte Authentifizierung, wenn du den Server ins Netz stellst
Am besten für
Entwickler mit einem Mac ab 96 GB, einem DGX Spark oder einem Strix-Halo-Rechner, die DeepSeek V4 Flash oder GLM 5.3 Flash lokal hinter ihrem Coding-Agenten betreiben wollen.
Alternativen zu DwarfStar (ds4)
DwarfStar (ds4): häufige Fragen
- Lohnt sich DwarfStar (ds4)?
- ds4 bringt offene Spitzenmodelle auf einem einzigen großen Mac oder DGX Spark auf brauchbare Geschwindigkeit, indem es sich weigert, allgemein zu sein, und genau deshalb ist es schnell und genau deshalb kann dein Modell beim nächsten Commit verschwinden. Wir bewerten es mit 4.1 von 5.
- Was kostet DwarfStar (ds4)?
- Kostenlos und Open Source (MIT). Kein gehosteter oder kostenpflichtiger Tarif; du stellst die Hardware und lädst die Gewichte herunter.
- Welche Nachteile hat DwarfStar (ds4)?
- Nur die GGUF-Dateien des Projekts laden; Modelle können wegfallen; Beta-Qualität, keine getaggten Releases, etwa 873 offene Issues und Pull Requests; Braucht mindestens 64 GB und für größere Modelle eine schnelle SSD; Keine dokumentierte Authentifizierung, wenn du den Server ins Netz stellst.
- Für wen eignet sich DwarfStar (ds4)?
- Entwickler mit einem Mac ab 96 GB, einem DGX Spark oder einem Strix-Halo-Rechner, die DeepSeek V4 Flash oder GLM 5.3 Flash lokal hinter ihrem Coding-Agenten betreiben wollen.
- Was kostet DwarfStar (ds4) für ein Team oder im Produktivbetrieb?
- Keine Lizenzkosten. Die echten Kosten sind Hardware: 96 GB oder mehr Unified Memory für DeepSeek oder GLM oder mehrere CUDA-Karten, plus schneller SSD-Platz für die größeren GGUF-Dateien.
- Ist DwarfStar (ds4) sicher für Firmendaten?
- Alles läuft lokal; der Server bindet an 127.0.0.1:8000, solange du kein --host angibst. Gespeicherte Sitzungen in ~/.ds4/kvcache können private Gesprächsinhalte enthalten. Telemetrie erwähnt das README nicht.
- Was sind die besten Alternativen zu DwarfStar (ds4)?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama und MLX.
Antworten geprüft am 16. Nov. 2026.