Was ist DeepInfer?
DeepInfer ist das Inferenz-Framework, mit dem DeepSeek DeepSeek-V4.1-Flash über die eigene API bereitstellt, am 20. Oktober 2026 auf GitHub unter Apache 2.0 veröffentlicht. Es baut hauptsächlich auf vLLM auf, mit Ideen aus SGLang und TensorRT-LLM, und ergänzt DeepSeeks eigene Kernels (FlashMLA, DeepGEMM, DeepEP, TileLang), breite Expertenparallelität, spekulatives Dekodieren mit nach Konfidenz geplanter Verifikation, batch-invariante Inferenz und strukturierte Ausgabe.
Dieses erste Release ist bewusst unvollständig. Es unterstützt ein Modell, DeepSeek-V4.1-Flash, führt nur Offline-Inferenz aus und zielt auf NVIDIA-GPUs mit SM100 (Blackwell) und NPUs vom Typ Huawei Ascend 950. Der KV-Cache-Speicher, die Trennung von Prefill und Decode und die Load Balancer, die zu einem vollständigen Dienst gehören, fehlen; DeepSeek sagt, sie seien an die interne Infrastruktur gebunden, und beschreibt ihr Design stattdessen in einem Deployment-Q&A.
Es gibt noch keine getaggten Releases. Im Repository sind Issues abgeschaltet, Fragen laufen über GitHub Discussions und Pull Requests.
Lohnt sich DeepInfer?
DeepInfer ist am wertvollsten als Dokumentation, die zufällig läuft. DeepSeek sagt, das System, aus dem es stammt, liefere 155 Billionen Tokens am Tag aus einem einzigen Cluster und erwirtschafte zu Nebenzeit-Preisen 38 US-Dollar pro GPU-Stunde, und das Deployment-Q&A im Repository erklärt, wie: Prefill auf gewöhnlichen Rechnern mit 8 GPUs, Decode verteilt auf 64 bis 128 GPUs mit einer Expertengruppe pro GPU und ein eigener SSD-Cluster, der den KV-Cache zur Wiederverwendung hält. Nur wenige Labore veröffentlichen so viel über ihren Serving-Stack.
Die Spitzenwerte stammen von DeepSeek selbst. Das Decode-Diagramm zeigt rund 26.000 Ausgabe-Tokens pro Sekunde und GPU bei 256 Anfragen pro Rank, was auf etwa 100 Tokens pro Sekunde für jeden Nutzer fällt, gemessen auf 64 GPUs mit SM100 bei 131.072 Tokens Kontext und unter der Annahme, dass jedes Draft-Token akzeptiert wird. Bei etwa 60 Anfragen pro Rank, die das Q&A als Betriebspunkt in der Produktion nennt, liegt der Durchsatz laut Tabelle eher bei 14.500 Tokens pro Sekunde und Rank. Eine unabhängige Reproduktion haben wir nicht gefunden; das Repository liefert die Sweep-Skripte zum Ausprobieren mit.
Die Lücken entscheiden, wer es heute nutzen kann. Es gibt keinen HTTP-Server, nur eine Offline-API in Python, echten Traffic zu bedienen heißt also, KV-Speicher, Trennung von Prefill und Decode und Load Balancing selbst zu bauen. Die Hardware ist auf NVIDIA-GPUs der Blackwell-Klasse und Ascend 950 beschränkt, Hopper-Flotten bleiben also außen vor, und das Q&A setzt das kleinste effiziente Deployment bei 64 GPUs für Prefill plus 64 für Decode an. Das einzige Modell ist V4.1-Flash, dessen Checkpoint allein rund 765 GB groß ist.
Wer V4.1-Flash bereitstellt, nutzt in der Praxis weiterhin vLLM und SGLang, und die Kernels und Einstellungen von DeepInfer sind die Referenz, an der man sie abstimmt. Der batch-invariante Modus, der Ausgaben identisch hält, egal was sonst im Batch steckt, ist die Funktion, die sich für Evaluation und RL am ehesten zu übernehmen lohnt. DeepSeek sagt, Code für künftige Modelle werde hier landen, was das Projekt von einer Referenz zu einem ernsthaften Konkurrenten machen würde.
Wo es sich lohnt
Ein Inferenzteam bei einer GPU-Cloud, das DeepSeek-V4.1-Flash auf Knoten der B200-Klasse bereitstellt
Den Abstand im Durchsatz zu DeepSeeks eigener API schließen
Lass den Benchmark-Sweep von DeepInfer neben dem aktuellen Deployment mit vLLM oder SGLang laufen und übernimm, was gewinnt: breite Expertenparallelität bei EP64, Balancing mit redundanten Experten, die Draft-Einstellung mit fünf Tokens. Die Software ist kostenlos; ein fairer Vergleich braucht mindestens 64 GPUs mit SM100 für die Decode-Seite.
Eine Forschungsgruppe, die RL-Post-Training auf DeepSeek-V4.1-Flash betreibt
Rollouts bekommen, deren Ausgaben sich nicht mit der Zusammensetzung des Batches ändern
Setze DEEPINFER_BATCH_INVARIANT=1 und übergib einen festen Seed, um bei identischen Eingaben identische Ausgaben zu erhalten, nur auf NVIDIA. Offline-Generierung im Batch ist genau das, was dieses Release unterstützt, es muss also keine Serving-Schicht gebaut werden.
Ein chinesischer Cloud-Anbieter, der auf Huawei Ascend standardisiert ist
DeepSeeks Modell mit Code aus erster Hand auf heimischen Beschleunigern bereitstellen
Baue mit DEEPINFER_ACCELERATOR=ascend auf CANN 9.2 für NPUs vom Typ Ascend 950. Apache 2.0 erlaubt die kommerzielle Nutzung, aber KV-Cache, Anfrage-Routing und API-Frontend muss der Anbieter weiterhin selbst stellen.
Bevor du dich festlegst
- Einrichtung
- Build aus dem Quellcode unter Linux mit GCC 13 oder neuer, Python 3.12 und CUDA 13 (oder CANN 9.2 für Ascend) über ./build.sh, dann examples/offline_inference.py ausführen, das beim ersten Lauf DeepSeek-V4.1-Flash-1017 von Hugging Face lädt. Es gibt weder ein pip-Paket noch ein Docker-Image.
- Integrationen
- Offline-API in Python mit strukturierter Ausgabe (Regex, JSON Schema, EBNF). DeepSeek veröffentlicht deepseek-recipe, eine Rust-Bibliothek unter MIT-Lizenz, die Anfragen für Chat Completions, Responses und Messages in Tokens umwandelt; einen eingebauten Server gibt es nicht.
- Daten und Datenschutz
- Läuft vollständig auf deiner Hardware; der Code enthält kein Modul für Nutzungsstatistiken, und der einzige Netzaufruf im Quickstart ist der Modell-Download von Hugging Face. Apache 2.0 ohne Einschränkungen des Einsatzbereichs. Keine Security Advisories veröffentlicht.
- Kosten im großen Maßstab
- Das Q&A setzt die kleinste effiziente Einheit bei 64 GPUs für Prefill plus 64 für Decode an, mit etwa 400 Gbps Interconnect pro 8 GPUs und rund 14,4 TB KV-Cache-Speicher pro GPU für 24 Stunden Aufbewahrung. Eine kostenpflichtige oder gehostete Ausgabe gibt es nicht.
- Grenzen
- Nur offline; ein unterstütztes Modell; nur SM100 und Ascend 950; Batch-Invarianz und deterministisches Sampling nur auf NVIDIA. Keine getaggten Releases, Issues abgeschaltet und mehr als 200 Pull Requests in den ersten sechs Tagen.
Was gut ist
- Produktions-Engine hinter DeepSeeks eigener API, Apache 2.0
- Ausführliches Deployment-Q&A mit echten Einstellungen zu Parallelität und Speicher
- Batch-invariante Inferenz und deterministisches Sampling auf NVIDIA
- Läuft auf Huawei Ascend 950 ebenso wie auf NVIDIA
Was nicht
- Nur Offline-Inferenz; kein HTTP- oder OpenAI-kompatibler Server
- KV-Cache-Speicher, Trennung von Prefill und Decode und Load Balancing nicht veröffentlicht
- Ein Modell (DeepSeek-V4.1-Flash) und nur SM100 oder Ascend 950
- Durchsatzwerte sind selbst gemeldet und nicht reproduziert
Am besten für
Inferenz-Engineers, die DeepSeek-V4.1-Flash im Cluster-Maßstab betreiben und DeepSeeks Kernels und Einstellungen als Referenz wollen.
Alternativen zu DeepInfer
DeepInfer: häufige Fragen
- Lohnt sich DeepInfer?
- Ein seltener Blick ins Innere eines LLM-Dienstes in Produktion, aber vorerst eine Referenz-Engine für ein Modell auf zwei Chipfamilien und nichts, was man hinter eine API stellt. Wir bewerten es mit 3.6 von 5.
- Was kostet DeepInfer?
- Kostenlos und Open Source unter der Lizenz Apache 2.0. Du bezahlst für Blackwell-GPUs oder Ascend-NPUs.
- Welche Nachteile hat DeepInfer?
- Nur Offline-Inferenz; kein HTTP- oder OpenAI-kompatibler Server; KV-Cache-Speicher, Trennung von Prefill und Decode und Load Balancing nicht veröffentlicht; Ein Modell (DeepSeek-V4.1-Flash) und nur SM100 oder Ascend 950; Durchsatzwerte sind selbst gemeldet und nicht reproduziert.
- Für wen eignet sich DeepInfer?
- Inferenz-Engineers, die DeepSeek-V4.1-Flash im Cluster-Maßstab betreiben und DeepSeeks Kernels und Einstellungen als Referenz wollen.
- Was kostet DeepInfer für ein Team oder im Produktivbetrieb?
- Das Q&A setzt die kleinste effiziente Einheit bei 64 GPUs für Prefill plus 64 für Decode an, mit etwa 400 Gbps Interconnect pro 8 GPUs und rund 14,4 TB KV-Cache-Speicher pro GPU für 24 Stunden Aufbewahrung. Eine kostenpflichtige oder gehostete Ausgabe gibt es nicht.
- Ist DeepInfer sicher für Firmendaten?
- Läuft vollständig auf deiner Hardware; der Code enthält kein Modul für Nutzungsstatistiken, und der einzige Netzaufruf im Quickstart ist der Modell-Download von Hugging Face. Apache 2.0 ohne Einschränkungen des Einsatzbereichs. Keine Security Advisories veröffentlicht.
- Was sind die besten Alternativen zu DeepInfer?
- Die nächsten Alternativen, die wir getestet haben, sind vLLM, SGLang und TensorRT-LLM.
Antworten geprüft am 26. Okt. 2026.