Qu’est-ce que d3 (vLLM Semantic Router) ?
d3 est le modèle de décision multimodal 27B de Decision 3.0, du projet vLLM Semantic Router. Il a été publié sur Hugging Face le 10 octobre 2026 sous Apache 2.0, affiné depuis Qwen3.8-27B (26,09 milliards de paramètres, dont un encodeur de vision de 0,46B). Neuf jours plus tard, l'équipe a sorti d3-turbo, un modèle 27B amélioré qui sert désormais la démo gratuite sur decision.vllm-sr.ai ; d3 reste disponible comme poids.
Il prend du texte ou du JSON plus plusieurs images ou vidéos par requête et répond à des questions de choix, oui/non et score avec une probabilité pour chaque option, sans générer de texte. Les images sont lues jusqu'à 1,6 mégapixel, les vidéos à 2 images par seconde, jusqu'à 32 images.
La branche principale de vLLM charge d3 tel quel depuis le 14 octobre 2026 et répond sur un endpoint /v1/systemone, la même forme de requête que Jev. Des versions FP8, NVFP4 et int4 (AWQ et GPTQ) officielles sont publiées ; les 4 bits réduisent les 52,2 GB de poids à environ 16 à 17 GB.
d3 (vLLM Semantic Router) vaut-il le coup ?
d3 est un modèle de décision ouvert solide qui a déjà été dépassé. Sur le Jev Decision Index 0.4.1 communautaire, mis à jour le 22 octobre 2026, il se situe 11e sur 229 entrées à 67,15, dans une bande d'égalité et juste derrière son frère d3-turbo à 67,31. Sa fiche, écrite face au board officiel 0.3.2, revendiquait la première place sur le texte avec 66,3 ; l'index et le projet ont tous deux avancé. Jev 1.14 obtient 60,24 sur le même board communautaire.
Le service est la raison de le regarder. vLLM charge le dépôt sans conversion et expose l'endpoint de style Jev /v1/systemone, même si la prise en charge a atterri sur main le 14 octobre et ne figure pas parmi les changements listés pour la v0.32.0, toujours la dernière version le 26 octobre, si bien qu'une version nightly est nécessaire. La fiche rapporte une médiane de 54,4 ms pour une question texte, 290 ms avec une image et 500 ms avec une vidéo de 10 secondes sur un AMD Instinct MI325X, et 27 requêtes par seconde avec un p99 sous une seconde via le Semantic Router. Ce sont les propres chiffres du projet sur du matériel AMD ; la voie CUDA n'avait pas été exécutée sur un GPU NVIDIA au moment où la fiche a été écrite.
L'entrée vidéo est encore rare parmi les modèles de décision. La fiche rapporte 77,4 sur le jeu de validation Perception Test, une évaluation interne, et le board vision communautaire place d3 neuvième sur 55 à 71,26. d3-turbo va plus loin, ajoutant des boîtes englobantes, le suivi de vidéo et un mode long contexte de 131 072 tokens, et il lit l'entrée une fois quel que soit le nombre de questions posées.
La mémoire est le coût opérationnel. Une réplique BF16 a culminé à 62 à 65 Gio sur le MI325X, et vLLM doit être démarré avec --max-model-len 32768 ou il profile une passe de 262 144 tokens qui ne tient pas sur un GPU de 80 GB. Les versions int4 ramènent les poids à environ 16 GB et gardent environ 97 % des réponses de d3, à portée d'une carte de 24 GB, mais la version NVFP4 a besoin d'un GPU Blackwell et la version AWQ tourne 1,29 fois plus lentement que le BF16. La même recette s'applique désormais à d3-turbo, si bien que la principale raison d'épingler d3 est un pipeline déjà validé face à ce checkpoint exact.
Là où il fait la différence
Un ingénieur plateforme qui fait tourner vLLM sur des GPU de 80 GB
Ajouter le routage et les vérifications de politique devant une passerelle LLM sans nouveau runtime
Servir d3 ou sa version FP8 avec --max-model-len 32768 et envoyer chaque requête à /v1/systemone avec des questions de choix et oui/non. La fiche rapporte 54 ms pour une décision texte à une question et 27 requêtes par seconde par MI325X ; le coût est le GPU, environ 62 à 65 Gio par réplique BF16.
Un responsable trust-and-safety dans une place de marché qui filtre 50 000 photos d'annonces par jour
Signaler les annonces dont les photos contredisent la description
Envoyer le texte et les photos de l'annonce en une requête et poser des questions oui/non et score ; chaque réponse porte une probabilité, si bien que les seuils de revue peuvent être ajustés. À 290 ms par requête d'image sur un GPU, 50 000 requêtes font environ quatre heures de GPU par jour avant mise en lot.
Un responsable d'ingénierie qui pèse l'auto-hébergement face à une API de décision hébergée
Décider si faire tourner un modèle ouvert en vaut la peine
d3 n'a pas d'endpoint payant, si bien que le coût est les GPU plus le temps d'astreinte, et la démo gratuite tourne désormais sur d3-turbo sans SLA. Les équipes sans opérations GPU dépenseront moins de temps de personnel sur une option hébergée comme pplx-decider ou Jev.
Avant de vous engager
- Mise en route
- Installez le Transformers 5.17.0 épinglé et chargez avec AutoModel et trust_remote_code, ou installez un vLLM nightly et lancez vllm serve vllm-sr/d3 --max-model-len 32768. Le premier démarrage avec caches vides a pris 215 s dans vLLM (139 s avec le plafond de longueur) contre 40 s pour AutoModel.
- Intégrations
- vLLM /v1/systemone (nightly), mode Engine du vLLM Semantic Router (canal dev), un pipeline Transformers et un d3_server.py fourni. Le format de requête correspond à celui de Jev.
- Données et confidentialité
- Apache 2.0, hérité de Qwen3.8-27B ; usage commercial autorisé sans plafond de revenus. Auto-hébergé, les entrées restent sur votre matériel ; les conditions sur les données de la démo gratuite ne sont pas publiées.
- Coût à grande échelle
- Pas de prix hébergé. Les poids BF16 font 52,2 GB et une réplique a culminé à 62 à 65 Gio sur un MI325X. La version NVFP4 a besoin d'environ 18 GB libres sur un GPU Blackwell ; la version AWQ int4 environ 18 GB sur n'importe quel GPU, à 1,29 fois la latence.
- Limites
- Une vidéo de 32 images fait environ 6K tokens. Un champ instructions de premier niveau renvoie 400. Le mode Engine admet 32 requêtes en cours par worker et renvoie 503 pour le reste, et les requêtes d'image à huit questions ont manqué un p99 d'une seconde à chaque charge testée.
Les points forts
- 11e sur 229 sur le Decision Index 0.4.1 communautaire (67,15)
- Se charge dans vLLM standard avec un endpoint compatible Jev
- Lit plusieurs images et vidéos par requête
- Versions FP8, NVFP4 et int4 officielles à partir d'environ 16 GB
Les points faibles
- Remplacé par d3-turbo neuf jours après la sortie
- Prise en charge de vLLM uniquement dans les versions nightly jusqu'à présent
- Les chiffres de vitesse sont ceux du projet, sur AMD MI325X
- Les frères plus petits obtiennent des scores bien plus bas : d3-flash 54,27, d3-mini 49,97
Idéal pour
Les équipes qui font déjà tourner vLLM et veulent un modèle de décision ouvert pour les vérifications de texte, d'image ou de vidéo sur leurs propres GPU et ont validé face à ce checkpoint.
Alternatives à d3 (vLLM Semantic Router)
d3 (vLLM Semantic Router) : questions fréquentes
- d3 (vLLM Semantic Router) vaut-il le coup ?
- Fort, ouvert et facile à servir sur vLLM, mais neuf jours après son lancement son propre d3-turbo en a fait la version à quitter. Nous lui donnons 4.0 sur 5.
- Combien coûte d3 (vLLM Semantic Router) ?
- Poids gratuits sous Apache 2.0. Pas d'API hébergée payante ; la démo publique gratuite sert désormais d3-turbo.
- Quels sont les inconvénients de d3 (vLLM Semantic Router) ?
- Remplacé par d3-turbo neuf jours après la sortie; prise en charge de vLLM uniquement dans les versions nightly jusqu'à présent; les chiffres de vitesse sont ceux du projet, sur AMD MI325X; les frères plus petits obtiennent des scores bien plus bas : d3-flash 54,27, d3-mini 49,97.
- À qui s’adresse d3 (vLLM Semantic Router) ?
- Les équipes qui font déjà tourner vLLM et veulent un modèle de décision ouvert pour les vérifications de texte, d'image ou de vidéo sur leurs propres GPU et ont validé face à ce checkpoint.
- Combien coûte d3 (vLLM Semantic Router) pour une équipe ou en production ?
- Pas de prix hébergé. Les poids BF16 font 52,2 GB et une réplique a culminé à 62 à 65 Gio sur un MI325X. La version NVFP4 a besoin d'environ 18 GB libres sur un GPU Blackwell ; la version AWQ int4 environ 18 GB sur n'importe quel GPU, à 1,29 fois la latence.
- d3 (vLLM Semantic Router) est-il sûr pour les données de l’entreprise ?
- Apache 2.0, hérité de Qwen3.8-27B ; usage commercial autorisé sans plafond de revenus. Auto-hébergé, les entrées restent sur votre matériel ; les conditions sur les données de la démo gratuite ne sont pas publiées.
- Quelles sont les meilleures alternatives à d3 (vLLM Semantic Router) ?
- Les alternatives les plus proches que nous avons testées sont Perplexity Decider (pplx-decider), Jev, Clef, GLiNER2.5-Decide et Laya.
Réponses vérifiées le 26 oct. 2026.