Was ist d3 (vLLM Semantic Router)?
d3 ist das multimodale 27B-Entscheidungsmodell von Decision 3.0 aus dem Projekt vLLM Semantic Router. Es wurde am 10. Oktober 2026 unter Apache 2.0 auf Hugging Face veröffentlicht, feingetunt auf Basis von Qwen3.8-27B (26,09 Milliarden Parameter einschließlich eines Vision-Encoders mit 460 Millionen). Neun Tage später veröffentlichte das Team d3-turbo, ein verbessertes 27B-Modell, das inzwischen die kostenlose Demo unter decision.vllm-sr.ai bedient; d3 bleibt als Gewichte verfügbar.
Es nimmt Text oder JSON plus mehrere Bilder oder Videos pro Request an und beantwortet choice-, Ja/Nein- und score-Fragen mit einer Wahrscheinlichkeit für jede Option, ohne Text zu erzeugen. Bilder werden mit bis zu 1,6 Megapixeln gelesen, Videos mit 2 Bildern pro Sekunde, bis zu 32 Bilder.
Der Hauptzweig von vLLM lädt d3 seit dem 14. Oktober 2026 unverändert und antwortet über einen Endpunkt /v1/systemone, mit demselben Request-Format wie Jev. Offizielle Builds in FP8, NVFP4 und int4 (AWQ und GPTQ) sind veröffentlicht; die 4-Bit-Varianten verkleinern die 52,2 GB Gewichte auf etwa 16 bis 17 GB.
Lohnt sich d3 (vLLM Semantic Router)?
d3 ist ein solides offenes Entscheidungsmodell, das bereits überholt wurde. Im Community-Index Jev Decision Index 0.4.1, aktualisiert am 22. Oktober 2026, steht es mit 67,15 auf Platz 11 von 229 Einträgen, innerhalb einer Gleichstandsgruppe und knapp hinter dem Geschwistermodell d3-turbo mit 67,31. Die Model Card, geschrieben mit Blick auf die offizielle Rangliste 0.3.2, beanspruchte mit 66,3 den ersten Platz bei Text; Index und Projekt haben sich seither beide weiterentwickelt. Jev 1.14 erreicht auf derselben Community-Rangliste 60,24.
Das Serving ist der Grund, sich das Modell anzusehen. vLLM lädt das Repository ohne Konvertierung und stellt den Jev-artigen Endpunkt /v1/systemone bereit, allerdings kam die Unterstützung am 14. Oktober in den Hauptzweig und gehört nicht zu den Änderungen von v0.32.0, am 26. Oktober noch das neueste Release. Du brauchst also einen Nightly-Build. Die Model Card nennt auf einer AMD Instinct MI325X einen Median von 54,4 ms für eine Textfrage, 290 ms mit einem Bild und 500 ms mit einem Video von 10 Sekunden, sowie 27 Requests pro Sekunde mit einem p99 unter einer Sekunde über den Semantic Router. Das sind die eigenen Zahlen des Projekts auf AMD-Hardware; der CUDA-Pfad war beim Schreiben der Model Card noch nicht auf einer NVIDIA-GPU gelaufen.
Videoeingabe ist bei Entscheidungsmodellen noch selten. Die Model Card meldet 77,4 auf dem Validierungsset von Perception Test, eine interne Evaluation, und die Community-Rangliste für Vision setzt d3 mit 71,26 auf Platz neun von 55. d3-turbo geht weiter, mit Bounding Boxes, Video-Tracking und einem Long-Context-Modus mit 131.072 Tokens, und liest die Eingabe einmal, egal wie viele Fragen gestellt werden.
Der Speicher ist der Preis im Betrieb. Eine BF16-Replika erreichte auf der MI325X einen Spitzenbedarf von 62 bis 65 GiB, und vLLM muss mit --max-model-len 32768 gestartet werden, sonst profiliert es einen Durchgang mit 262.144 Tokens, der nicht auf eine GPU mit 80 GB passt. Die int4-Builds bringen die Gewichte auf etwa 16 GB und behalten rund 97 % der Antworten von d3, in Reichweite einer Karte mit 24 GB, doch der NVFP4-Build braucht eine Blackwell-GPU, und der AWQ-Build läuft 1,29-mal langsamer als BF16. Dasselbe Rezept gilt jetzt für d3-turbo, der Hauptgrund, an d3 festzuhalten, ist also eine Pipeline, die bereits gegen genau diesen Checkpoint validiert ist.
Wo es sich lohnt
Ein Plattform-Engineer, der vLLM auf GPUs mit 80 GB betreibt
Routing und Richtlinienprüfungen vor einem LLM-Gateway ergänzen, ohne neue Runtime
Stelle d3 oder seinen FP8-Build mit --max-model-len 32768 bereit und schicke jeden Request mit choice- und Ja/Nein-Fragen an /v1/systemone. Die Model Card nennt 54 ms für eine Textentscheidung mit einer Frage und 27 Requests pro Sekunde je MI325X; die Kosten sind die GPU, etwa 62 bis 65 GiB pro BF16-Replika.
Die Trust-and-Safety-Leitung eines Marktplatzes, die täglich 50.000 Angebotsfotos prüft
Angebote markieren, deren Fotos der Beschreibung widersprechen
Schicke Angebotstext und Fotos in einem Request und stelle Ja/Nein- und score-Fragen; jede Antwort trägt eine Wahrscheinlichkeit, sodass sich die Schwellen für die Prüfung einstellen lassen. Bei 290 ms pro Bild-Request auf einer GPU sind 50.000 Requests etwa vier GPU-Stunden pro Tag, vor Batching.
Ein Engineering-Manager, der Selbsthosting gegen eine gehostete Entscheidungs-API abwägt
Entscheiden, ob sich der Betrieb eines offenen Modells lohnt
d3 hat keinen kostenpflichtigen Endpunkt, die Kosten sind also GPUs plus Bereitschaftszeit, und die kostenlose Demo läuft inzwischen ohne SLA mit d3-turbo. Teams ohne GPU-Betrieb investieren mit einer gehosteten Option wie pplx-decider oder Jev weniger Personalzeit.
Bevor du dich festlegst
- Einrichtung
- Installiere das festgelegte Transformers 5.17.0 und lade mit AutoModel und trust_remote_code, oder installiere ein vLLM-Nightly und starte vllm serve vllm-sr/d3 --max-model-len 32768. Der erste Start mit leeren Caches dauerte in vLLM 215 s (139 s mit Längenbegrenzung) gegenüber 40 s mit AutoModel.
- Integrationen
- vLLM /v1/systemone (Nightly), Engine-Modus von vLLM Semantic Router (Dev-Channel), eine Transformers-Pipeline und ein mitgeliefertes d3_server.py. Das Request-Format entspricht dem von Jev.
- Daten und Datenschutz
- Apache 2.0, übernommen von Qwen3.8-27B; kommerzielle Nutzung ohne Umsatzgrenze erlaubt. Selbst gehostet bleiben Eingaben auf deiner Hardware; die Datenbedingungen der kostenlosen Demo sind nicht veröffentlicht.
- Kosten im großen Maßstab
- Kein gehosteter Preis. Die BF16-Gewichte haben 52,2 GB, und eine Replika erreichte auf einer MI325X einen Spitzenbedarf von 62 bis 65 GiB. Der NVFP4-Build braucht etwa 18 GB freien Speicher auf einer Blackwell-GPU, der AWQ-int4-Build etwa 18 GB auf jeder GPU, bei 1,29-facher Latenz.
- Grenzen
- Ein Video mit 32 Bildern sind etwa 6K Tokens. Ein Feld instructions auf oberster Ebene liefert 400 zurück. Der Engine-Modus lässt 32 laufende Requests pro Worker zu und gibt für den Rest 503 zurück, und Bild-Requests mit acht Fragen verfehlten bei jeder getesteten Last einen p99 von einer Sekunde.
Was gut ist
- Platz 11 von 229 im Community-Index Decision Index 0.4.1 (67,15)
- Lädt im unveränderten vLLM mit einem Jev-kompatiblen Endpunkt
- Liest mehrere Bilder und Videos pro Request
- Offizielle Builds in FP8, NVFP4 und int4 ab etwa 16 GB
Was nicht
- Neun Tage nach der Veröffentlichung von d3-turbo abgelöst
- Unterstützung in vLLM bisher nur in Nightly-Builds
- Die Geschwindigkeitszahlen stammen vom Projekt selbst, auf AMD MI325X
- Kleinere Geschwistermodelle schneiden deutlich schlechter ab: d3-flash 54,27, d3-mini 49,97
Am besten für
Teams, die bereits vLLM betreiben, ein offenes Entscheidungsmodell für Prüfungen von Text, Bild oder Video auf eigenen GPUs wollen und gegen diesen Checkpoint validiert haben.
Alternativen zu d3 (vLLM Semantic Router)
d3 (vLLM Semantic Router): häufige Fragen
- Lohnt sich d3 (vLLM Semantic Router)?
- Stark, offen und leicht auf vLLM bereitzustellen, doch neun Tage nach dem Start machte das eigene d3-turbo es zu der Version, von der man migriert. Wir bewerten es mit 4.0 von 5.
- Was kostet d3 (vLLM Semantic Router)?
- Kostenlose Gewichte unter Apache 2.0. Keine kostenpflichtige gehostete API; die kostenlose öffentliche Demo bedient inzwischen d3-turbo.
- Welche Nachteile hat d3 (vLLM Semantic Router)?
- Neun Tage nach der Veröffentlichung von d3-turbo abgelöst; Unterstützung in vLLM bisher nur in Nightly-Builds; Die Geschwindigkeitszahlen stammen vom Projekt selbst, auf AMD MI325X; Kleinere Geschwistermodelle schneiden deutlich schlechter ab: d3-flash 54,27, d3-mini 49,97.
- Für wen eignet sich d3 (vLLM Semantic Router)?
- Teams, die bereits vLLM betreiben, ein offenes Entscheidungsmodell für Prüfungen von Text, Bild oder Video auf eigenen GPUs wollen und gegen diesen Checkpoint validiert haben.
- Was kostet d3 (vLLM Semantic Router) für ein Team oder im Produktivbetrieb?
- Kein gehosteter Preis. Die BF16-Gewichte haben 52,2 GB, und eine Replika erreichte auf einer MI325X einen Spitzenbedarf von 62 bis 65 GiB. Der NVFP4-Build braucht etwa 18 GB freien Speicher auf einer Blackwell-GPU, der AWQ-int4-Build etwa 18 GB auf jeder GPU, bei 1,29-facher Latenz.
- Ist d3 (vLLM Semantic Router) sicher für Firmendaten?
- Apache 2.0, übernommen von Qwen3.8-27B; kommerzielle Nutzung ohne Umsatzgrenze erlaubt. Selbst gehostet bleiben Eingaben auf deiner Hardware; die Datenbedingungen der kostenlosen Demo sind nicht veröffentlicht.
- Was sind die besten Alternativen zu d3 (vLLM Semantic Router)?
- Die nächsten Alternativen, die wir getestet haben, sind Perplexity Decider (pplx-decider), Jev, Clef, GLiNER2.5-Decide und Laya.
Antworten geprüft am 26. Okt. 2026.