Was ist DSpine?
DSpine ist ein Verfahren für spekulatives Decoding samt SGLang-Plugin von Tencent, mit einem Paper vom September 2026 und Code seit Oktober. Beim spekulativen Decoding rät ein kleines Entwurfsmodell mehrere Tokens voraus, die das Hauptmodell dann in einem Durchgang prüft; so geht die Generierung schneller, ohne dass sich ändert, was das Hauptmodell geschrieben hätte. Der Entwurf von DSpine schlägt einen Block von 16 Tokens auf einmal vor und gibt auf jeder Schicht das vorhergesagte Merkmal jeder Position an die nächste weiter, damit spätere Vermutungen im Block zu früheren passen.
Es gibt Entwurfsgewichte für zwei Zielmodelle: Qwen3-8B und seit dem 7. November Qwen3.8-27B, ein fünfschichtiger Entwurf mit etwa 2 Milliarden Parametern und einem gleitenden Fenster von 8.192 Tokens. Der Code läuft als Plugin für SGLang 0.5.22 auf CUDA, mit einem Weg für Apple silicon über mlx-lm nur für Qwen3-8B; der Trainingscode liegt in SpecForge.
Code und Gewichte stehen unter Apache 2.0 (GitHub zeigt die Lizenz wegen einer Tencent-Präambel in der Datei als nicht erkannt). Das Repository hat etwa 234 Sterne und keine getaggten Releases.
Lohnt sich DSpine?
DSpines Argument stützt sich auf Tencents Agenten-Replays. Beim Betrieb von Qwen3.8-27B mit acht gleichzeitigen Anfragen meldet es einen End-to-End-Durchsatz vom 2,71- bis 3,84-Fachen des normalen Decodings über WorkBuddy-Traces für Code, Web und Büro, SWE-bench Pro und τ²-bench. z-labs offizieller DFlash2-Entwurf für dieses Modell schaffte auf denselben Replays das 2,33- bis 3,17-Fache. Auf WorkBuddy Office mit niedriger Denkstufe sind das 805,53 Tokens pro Sekunde gegenüber 664,77 für DFlash2 und 210,03 ohne Spekulation.
Der Gewinn kommt von länger akzeptierten Vermutungen. Die Modellkarte nennt im Schnitt 5,63 akzeptierte Tokens pro Schritt auf WorkBuddy Office gegenüber 4,24 bei DFlash2, und das Paper hebt auf Qwen3-8B die mittlere Akzeptanzlänge von 3,77 bei DFlash auf 4,82 und den Durchsatz im Betrieb um 23,3% gegenüber DFlash. Alle Zahlen stammen von Tencent, und die Karte nennt die verwendete GPU nicht, auch wenn das FlashAttention-3-Backend im Befehl auf eine Karte der Hopper-Klasse hindeutet.
Der Haken ist die Reichweite. Ein Entwurfsmodell wird für ein Zielmodell trainiert, und DSpine hat zwei. Der 27B-Weg braucht eine lange Liste von SGLang-Optionen, ReplaySSM für die Linear-Attention-Schichten von Qwen3.8 und eine Abstimmung der dynamischen Verifikation pro Arbeitslast. Die MLX-Version deckt nur Qwen3-8B ab, und das CUDA-Plugin ist an eine bestimmte SGLang-Version gebunden.
Unser Fazit: Spekulatives Decoding ist die billigste Beschleunigung, die ein Serving-Team bekommen kann, weil es an den Antworten nichts ändert. Ist Qwen3.8-27B schon dein Agentenmodell auf SGLang, lohnt DSpine einen Nachmittag Benchmarking gegen DFlash2 mit deinem eigenen Verkehr; sonst warte auf einen Entwurf, der für dein Modell trainiert ist.
Wo es sich lohnt
Ein Plattformingenieur, der Qwen3.8-27B als Modell hinter einem internen Coding-Agenten betreibt
Mehr Agentensitzungen pro GPU bedienen, ohne die Antworten zu ändern
Den Entwurf mit 2 Milliarden Parametern mit --speculative-algorithm DSPINE zum bestehenden SGLang-Server hinzufügen; Tencent meldet auf SWE-bench-Pro-Replays etwa den 3-fachen Durchsatz gegenüber normalem Decoding. Vorher das SPS-Tuning-Skript auf eigenen Traces laufen lassen.
Eine Entwicklerin, die Qwen3-8B lokal auf einem Mac mit M-Chip betreibt
Die Generierung für einen einzelnen Nutzer ohne GPU-Server beschleunigen
Das Paket dspine_mlx installieren und dspine-generate mit einem unveränderten mlx-lm-Zielmodell starten; Tencent nennt etwa 21 GB Unified Memory für ein Qwen3-8B in BF16.
Ein Inferenzforscher, der parallele Entwurfsverfahren vergleicht
DSpine gegen DFlash2 und DSpark auf einem neuen Modell nachstellen
Der Trainingscode steht in SpecForge-Pull-Request 1038, in Tencents Läufen mit den Daten von Open-PerfectBlend trainiert. Das Paper meldet auf Qwen3-8B bei Temperatur null eine um 27,8% längere mittlere Akzeptanz als DFlash.
Bevor du dich festlegst
- Einrichtung
- Das Repository per git clone holen und pip install -e . in einer Umgebung mit SGLang 0.5.22, Python 3.11+ und CUDA ausführen, dann sglang serve mit den DSPINE-Optionen aus der Modellkarte starten; der Entwurf lädt von Hugging Face.
- Integrationen
- SGLang-Plugin (CUDA) und ein SGLang-MLX-Plugin für Apple silicon; Entwürfe mit SpecForge trainiert; nutzt dynamische Verifikation nach Art von DSpark und ReplaySSM für die Linear-Attention-Schichten von Qwen3.8.
- Daten und Datenschutz
- Läuft komplett auf deiner Hardware, keine Telemetrie beschrieben. Apache 2.0 für Code und Gewichte, Komponenten Dritter unter eigenen Lizenzen laut THIRD_PARTY_NOTICES.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Kosten sind die GPU, die das Zielmodell schon betreibt, plus Speicher für einen Entwurf mit 2 Milliarden Parametern. Die veröffentlichten 27B-Zahlen nutzten BF16 und acht gleichzeitige Anfragen.
- Grenzen
- Zwei unterstützte Zielmodelle; bei geringer Parallelität getestet (acht Anfragen); der Gewinn hängt davon ab, wie vorhersagbar dein Verkehr ist; das CUDA-Plugin folgt einer einzigen SGLang-Version.
Was gut ist
- 2,71- bis 3,84-facher Durchsatz gegenüber normalem Decoding in Agenten-Replays (Herstellerangabe)
- Schlägt DFlash2 in jedem Benchmark von Tencents Tabellen
- Code und Gewichte unter Apache 2.0; Trainingscode in SpecForge
- Ausgabe unverändert: das Hauptmodell prüft jedes Entwurfstoken
Was nicht
- Entwürfe nur für Qwen3-8B und Qwen3.8-27B
- Das 27B-Setup braucht viele SGLang-Optionen und Abstimmung pro Arbeitslast
- Hardware hinter den veröffentlichten Zahlen nicht genannt
- Junges Repository: etwa 234 Sterne, keine Releases
Am besten für
Teams, die Qwen3.8-27B oder Qwen3-8B auf SGLang betreiben und mehr Tokens pro GPU wollen, ohne die Ausgaben zu ändern.
Alternativen zu DSpine
DSpine: häufige Fragen
- Lohnt sich DSpine?
- DSpine ist ein echter Geschwindigkeitsgewinn für alle, die Qwen3.8-27B auf SGLang betreiben, und vorerst nutzlos für alle, die etwas anderes betreiben. Wir bewerten es mit 3.8 von 5.
- Was kostet DSpine?
- Kostenlos unter Apache 2.0, Code und Entwurfsgewichte. Du brauchst eine eigene GPU, auf der das Zielmodell läuft.
- Welche Nachteile hat DSpine?
- Entwürfe nur für Qwen3-8B und Qwen3.8-27B; Das 27B-Setup braucht viele SGLang-Optionen und Abstimmung pro Arbeitslast; Hardware hinter den veröffentlichten Zahlen nicht genannt; Junges Repository: etwa 234 Sterne, keine Releases.
- Für wen eignet sich DSpine?
- Teams, die Qwen3.8-27B oder Qwen3-8B auf SGLang betreiben und mehr Tokens pro GPU wollen, ohne die Ausgaben zu ändern.
- Was kostet DSpine für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Kosten sind die GPU, die das Zielmodell schon betreibt, plus Speicher für einen Entwurf mit 2 Milliarden Parametern. Die veröffentlichten 27B-Zahlen nutzten BF16 und acht gleichzeitige Anfragen.
- Ist DSpine sicher für Firmendaten?
- Läuft komplett auf deiner Hardware, keine Telemetrie beschrieben. Apache 2.0 für Code und Gewichte, Komponenten Dritter unter eigenen Lizenzen laut THIRD_PARTY_NOTICES.
- Was sind die besten Alternativen zu DSpine?
- Die nächsten Alternativen, die wir getestet haben, sind SGLang und vLLM.
Antworten geprüft am 11. Nov. 2026.