Was ist Decision-2.0-Nox-4B (vLLM Semantic Router)?
Decision-2.0-Nox-4B ist das 4B-Textmodell von Decision 2.0, den Entscheidungsmodellen des Projekts vLLM Semantic Router, veröffentlicht auf Hugging Face am 29. September 2026. Wie Jev schreibt es keinen Text: Du schickst eine Eingabe (Text oder JSON) und benannte Fragen, und es beantwortet Auswahl-, Ja/Nein- und Bewertungsfragen gemeinsam in einem einzigen Forward Pass, mit einer Wahrscheinlichkeit für jede Option.
Es ist ein Fine-Tune von Qwen3.5-4B-Base mit 4,21 Milliarden Parametern, einem Kontext von 16.384 Tokens und Gewichten unter Apache 2.0. Es liest nur Text. Die Modellkarte nennt einen Median von 12,9 ms pro Anfrage mit einer Frage auf einer GPU.
Zehn Tage später veröffentlichte dasselbe Team Decision 3.0, dessen d3-mini mit 4,5B ebenfalls auf Qwen3.5-4B aufbaut. Die größeren d3 und d3-turbo von vLLM Semantic Router werden separat besprochen.
Lohnt sich Decision-2.0-Nox-4B (vLLM Semantic Router)?
Decision-2.0-Nox-4B ist ein solides kleines Modell, das kurz vor seinem Nachfolger kam. Im Community-Index Jev Decision Index 0.4.1, Datenstand 29. Oktober, erreicht es 40,75 und belegt Platz 134 von 247 Einträgen. Damit schlägt es die beiden am ehesten vergleichbaren 4B-Modelle, JPT-4B mit 39,56 und Decider 4B mit 36,3, was zur Aussage der Modellkarte passt, es führe seine Größenklasse an. Doch die Tabelle führt auch das hauseigene d3-mini von vLLM Semantic Router, ein 4,5B-Modell auf derselben Basis Qwen3.5-4B, mit 49,97, und pplx-decider-flash-v1.2 von Perplexity mit 54,29.
Die Zahlen der Modellkarte sind selbst angegeben, aber sorgfältig eingeordnet: 63,6 in JevArena gegenüber 61,9 für Decider 4B, beschrieben als „statistisch gleichauf“, 52,3 bei 15 von Menschen gelabelten Aufgaben, bei denen Decider 4B mit 55,5 vorn liegt, und 43,8 im Jev Decision Index aus dem eigenen Lauf des Teams mit dem Kit 0.2.1. Das Team gibt an, seine Trainingsdaten Zeile für Zeile gegen die Testaufgaben des Index geprüft zu haben, mehr, als die meisten Karten von Entscheidungsmodellen behaupten.
Die Kalibrierung ist seine größte Stärke. Der Community-Index misst einen erwarteten Kalibrierungsfehler von 0,030, niedriger als bei Jev 1.13 (0,078), d3-mini (0,056) und Decider 4B (0,084). Seine Wahrscheinlichkeiten folgen der Häufigkeit, mit der es richtig liegt, sodass eine Konfidenzschwelle, die du auf deinen eigenen Daten festlegst, halten sollte. Die Geschwindigkeit beeindruckt weniger, als die Karte nahelegt: Der Index maß einen Median von 33,5 ms auf einer RTX PRO 6000, gegenüber 12,6 ms für Decider 4B.
Es liest nur Text und hat keinen Bildpfad, anders als d3-mini oder pplx-decider-flash. Für einen neuen reinen Text-Einsatz unter einer freizügigen Lizenz schneidet d3-mini bei ähnlicher Größe besser ab; Nox bleibt eine vernünftige Wahl, wo kalibrierte Wahrscheinlichkeiten wichtiger sind als die letzten neun Punkte Genauigkeit.
Wo es sich lohnt
Ein Platform Engineer bei einem E-Commerce-Unternehmen mit 50 Mitarbeitenden
Support-E-Mails auf der eigenen GPU an die Teams für Retouren, Abrechnung oder Technik verteilen
Ein Aufruf beantwortet die Routing-Auswahl, ein Ja/Nein zu Belegen und eine Dringlichkeitsbewertung zugleich. Der geringe Kalibrierungsfehler sorgt dafür, dass eine Regel wie „über 0,9 automatisch zuweisen, sonst an einen Menschen“ wie eingestellt greift; Apache 2.0 erspart die Lizenzprüfung.
Ein ML Engineer, der einen LLM-Judge in einer RAG-Pipeline ersetzt
Bewerten, ob jede abgerufene Passage die Frage beantwortet
Eine Ja/Nein-Frage pro Passage liefert eine Wahrscheinlichkeit, ohne Text zu generieren, auf einer GPU. Miss zuerst die Genauigkeit auf deinem eigenen gelabelten Datensatz: Im Community-Index liegt es über alle Bereiche in etwa 66% der Fälle richtig, bei Wissensfragen in 58%.
Bevor du dich festlegst
- Einrichtung
- pip install transformers 5.17 oder neuer mit torch und safetensors, mit trust_remote_code=True laden und model.system_one(state, questions) aufrufen; eine transformers-Pipeline „decision“ ist ebenfalls registriert.
- Integrationen
- Fragen nutzen das System-One-Schema (noul, choice, score), das auch Jev, pplx-decider und Liquids d1 verwenden, sodass dafür geschriebene Harnesses unverändert funktionieren. Es ist die Entscheidungsmodell-Familie des Projekts vLLM Semantic Router.
- Daten und Datenschutz
- Nur selbst gehostet, Eingaben bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung ohne Umsatzgrenze.
- Kosten im großen Maßstab
- Kein API-Preis; 4,21 Milliarden Parameter laufen auf einer einzigen GPU, und der Community-Index ließ es auf einer RTX PRO 6000 mit einem Median von 33,5 ms laufen. Mehrere Fragen zu einer Eingabe teilen sich einen Forward Pass.
- Grenzen
- Kontext von 16.384 Tokens, nur Text und JSON, drei Antworttypen (keine Zahlen, Boxen oder Extraktion). Am schwächsten in den Bereichen Wissen (58% Genauigkeit) und Kunst (50%) des Community-Index.
Was gut ist
- Erwarteter Kalibrierungsfehler von 0,030 im Community-Index
- Apache 2.0 ohne Umsatzgrenze
- Vor Decider 4B und JPT-4B im Community-Index
- Trainingsdaten laut Modellkarte gegen die Testaufgaben des Index gepr üft
Was nicht
- 9 Punkte hinter dem hauseigenen d3-mini (49,97)
- Nur Text; keine Bilder
- Median von 33,5 ms im Community-Lauf, nicht die 12,9 ms der Modellkarte
- Keine gehostete API
Am besten für
Ingenieure, die einen kleinen, selbst gehosteten, freizügig lizenzierten Textklassifikator brauchen, dessen Wahrscheinlichkeiten sich für Schwellenwerte eignen.
Alternativen zu Decision-2.0-Nox-4B (vLLM Semantic Router)
Decision-2.0-Nox-4B (vLLM Semantic Router): häufige Fragen
- Lohnt sich Decision-2.0-Nox-4B (vLLM Semantic Router)?
- Ehrliche Zahlen und gute Kalibrierung unter Apache 2.0, aber mit 40,75 im Community-Index liegt es neun Punkte hinter dem hauseigenen d3-mini. Wir bewerten es mit 3.4 von 5.
- Was kostet Decision-2.0-Nox-4B (vLLM Semantic Router)?
- Kostenlose Gewichte unter Apache 2.0; kein gehosteter Endpunkt für dieses Modell.
- Welche Nachteile hat Decision-2.0-Nox-4B (vLLM Semantic Router)?
- 9 Punkte hinter dem hauseigenen d3-mini (49,97); Nur Text; keine Bilder; Median von 33,5 ms im Community-Lauf, nicht die 12,9 ms der Modellkarte; Keine gehostete API.
- Für wen eignet sich Decision-2.0-Nox-4B (vLLM Semantic Router)?
- Ingenieure, die einen kleinen, selbst gehosteten, freizügig lizenzierten Textklassifikator brauchen, dessen Wahrscheinlichkeiten sich für Schwellenwerte eignen.
- Was kostet Decision-2.0-Nox-4B (vLLM Semantic Router) für ein Team oder im Produktivbetrieb?
- Kein API-Preis; 4,21 Milliarden Parameter laufen auf einer einzigen GPU, und der Community-Index ließ es auf einer RTX PRO 6000 mit einem Median von 33,5 ms laufen. Mehrere Fragen zu einer Eingabe teilen sich einen Forward Pass.
- Ist Decision-2.0-Nox-4B (vLLM Semantic Router) sicher für Firmendaten?
- Nur selbst gehostet, Eingaben bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung ohne Umsatzgrenze.
- Was sind die besten Alternativen zu Decision-2.0-Nox-4B (vLLM Semantic Router)?
- Die nächsten Alternativen, die wir getestet haben, sind Perplexity Decider (pplx-decider), d3-turbo (vLLM Semantic Router), d3 (vLLM Semantic Router), LFM3 und Jev.
Antworten geprüft am 31. Okt. 2026.