Qu’est-ce que DeepInfer ?
DeepInfer est le framework d'inférence que DeepSeek utilise pour servir DeepSeek-V4.1-Flash sur sa propre API, publié sur GitHub sous Apache 2.0 le 20 octobre 2026. Il a été bâti principalement sur vLLM, avec des idées empruntées à SGLang et TensorRT-LLM, et ajoute les propres kernels de DeepSeek (FlashMLA, DeepGEMM, DeepEP, TileLang), le parallélisme d'experts large, le décodage spéculatif avec vérification planifiée par confiance, l'inférence invariante au lot et la sortie structurée.
Cette première version est délibérément partielle. Elle prend en charge un seul modèle, DeepSeek-V4.1-Flash, ne fait que de l'inférence hors ligne, et vise les GPU NVIDIA SM100 (Blackwell) et les NPU Huawei Ascend 950. Le magasin de cache KV, la désagrégation prefill/decode et les équilibreurs de charge qui composent un service complet ne sont pas inclus ; DeepSeek dit qu'ils sont liés à son infrastructure interne et en décrit la conception dans une FAQ de déploiement à la place.
Il n'y a pas encore de versions taguées. Le dépôt a les issues désactivées et prend les questions via les GitHub Discussions et les pull requests.
DeepInfer vaut-il le coup ?
DeepInfer est surtout précieux comme documentation qui se trouve tourner. DeepSeek dit que le système dont il provient sert 155 billions de tokens par jour depuis un seul cluster et rapporte 38 dollars US par heure-GPU aux prix hors pointe, et la FAQ de déploiement du dépôt explique comment : le prefill sur des machines ordinaires à 8 GPU, le decode réparti sur 64 à 128 GPU avec un groupe d'experts par GPU, et un cluster SSD dédié contenant le cache KV pour réutilisation. Peu de laboratoires publient autant sur leur pile de service.
Les chiffres phares sont ceux de DeepSeek. Son graphe de decode montre environ 26 000 tokens de sortie par seconde par GPU à 256 requêtes par rang, tombant à environ 100 tokens par seconde pour chaque utilisateur, mesuré sur 64 GPU SM100 avec un contexte de 131 072 tokens et en comptant chaque token de brouillon comme accepté. À environ 60 requêtes par rang, ce que la FAQ appelle le point de fonctionnement de production, sa table place le débit plus près de 14 500 tokens par seconde par rang. Nous n'avons trouvé aucune reproduction indépendante ; le dépôt livre les scripts de balayage pour essayer.
Les lacunes décident qui peut l'utiliser aujourd'hui. Il n'y a pas de serveur HTTP, seulement une API Python hors ligne, si bien que servir du vrai trafic signifie construire le magasin KV, la désagrégation et l'équilibrage de charge vous-même. Le matériel est limité aux GPU NVIDIA de classe Blackwell et à l'Ascend 950, si bien que les flottes Hopper sont exclues, et la FAQ place le plus petit déploiement efficace à 64 GPU pour le prefill plus 64 pour le decode. Le seul modèle est V4.1-Flash, dont le checkpoint seul fait environ 765 Go.
Pour quiconque sert V4.1-Flash, vLLM et SGLang restent les moteurs pratiques, et les kernels et réglages de DeepInfer sont la référence pour les régler. Son mode invariant au lot, qui garde les sorties identiques quel que soit le reste du lot, est la fonction la plus digne d'être empruntée pour le travail d'évaluation et de RL. DeepSeek dit que le code pour les futurs modèles atterrira ici, ce qui le transformerait d'une référence en un prétendant.
Là où il fait la différence
Une équipe d'inférence dans un cloud GPU qui sert DeepSeek-V4.1-Flash sur des nœuds de classe B200
Combler l'écart de débit avec l'API de DeepSeek
Lancez le balayage de benchmark de DeepInfer à côté du déploiement vLLM ou SGLang actuel et copiez ce qui gagne : parallélisme d'experts large à EP64, équilibrage d'experts redondants, le réglage de brouillon à cinq tokens. Le logiciel est gratuit ; une comparaison juste a besoin d'au moins 64 GPU SM100 pour le côté decode.
Un groupe de recherche qui fait du post-entraînement RL sur DeepSeek-V4.1-Flash
Obtenir des rollouts dont les sorties ne changent pas avec la composition du lot
Réglez DEEPINFER_BATCH_INVARIANT=1 et passez une graine fixe pour obtenir des sorties identiques pour des entrées identiques, sur NVIDIA uniquement. La génération par lots hors ligne est exactement ce que cette version prend en charge, si bien qu'aucune couche de service n'a à être construite.
Un fournisseur cloud chinois standardisé sur Huawei Ascend
Servir le modèle de DeepSeek sur des accélérateurs domestiques avec du code de première partie
Construisez avec DEEPINFER_ACCELERATOR=ascend sur CANN 9.2 pour les NPU Ascend 950. Apache 2.0 autorise l'usage commercial, mais le fournisseur doit encore fournir son propre cache KV, son routage de requêtes et son front end d'API.
Avant de vous engager
- Mise en route
- Construisez depuis les sources sur Linux avec GCC 13 ou plus récent, Python 3.12 et CUDA 13 (ou CANN 9.2 pour Ascend) via ./build.sh, puis lancez examples/offline_inference.py, qui télécharge DeepSeek-V4.1-Flash-1017 depuis Hugging Face à la première exécution. Aucun paquet pip ni image Docker n'est publié.
- Intégrations
- API Python hors ligne avec sortie structurée (regex, schéma JSON, EBNF). DeepSeek publie deepseek-recipe, une bibliothèque Rust sous licence MIT, pour convertir les requêtes Chat Completions, Responses et Messages en tokens ; il n'y a pas de serveur intégré.
- Données et confidentialité
- Tourne entièrement sur votre matériel ; l'arbre de code ne contient aucun module de statistiques d'usage, et le seul appel réseau du démarrage rapide est le téléchargement du modèle Hugging Face. Apache 2.0 sans limite de domaine d'usage. Aucun avis de sécurité publié.
- Coût à grande échelle
- La FAQ place la plus petite unité efficace à 64 GPU de prefill plus 64 de decode, avec environ 400 Gbps d'interconnexion par 8 GPU et environ 14,4 To de stockage de cache KV par GPU pour une rétention de 24 heures. Il n'y a pas d'édition payante ou hébergée.
- Limites
- Hors ligne uniquement ; un seul modèle pris en charge ; SM100 et Ascend 950 uniquement ; l'invariance au lot et l'échantillonnage déterministe sont réservés à NVIDIA. Pas de versions taguées, issues désactivées, et plus de 200 pull requests ouvertes dans ses six premiers jours.
Les points forts
- Moteur de production derrière l'API de DeepSeek, Apache 2.0
- FAQ de déploiement détaillée avec de vrais réglages de parallélisme et de stockage
- Inférence invariante au lot et échantillonnage déterministe sur NVIDIA
- Tourne sur Huawei Ascend 950 autant que sur NVIDIA
Les points faibles
- Inférence hors ligne uniquement ; pas de serveur HTTP ou compatible OpenAI
- Magasin de cache KV, désagrégation et équilibrage de charge non publiés
- Un seul modèle (DeepSeek-V4.1-Flash) et SM100 ou Ascend 950 uniquement
- Les chiffres de débit sont auto-rapportés et non reproduits
Idéal pour
Les ingénieurs d'inférence qui font tourner DeepSeek-V4.1-Flash à l'échelle d'un cluster et veulent les kernels et réglages de DeepSeek comme référence.
Alternatives à DeepInfer
DeepInfer : questions fréquentes
- DeepInfer vaut-il le coup ?
- Un rare regard à l'intérieur d'un service LLM de production, mais pour l'instant c'est un moteur de référence pour un seul modèle sur deux familles de puces, pas quelque chose à mettre derrière une API. Nous lui donnons 3.6 sur 5.
- Combien coûte DeepInfer ?
- Gratuit et open source sous la licence Apache 2.0. Vous payez les GPU Blackwell ou les NPU Ascend.
- Quels sont les inconvénients de DeepInfer ?
- Inférence hors ligne uniquement ; pas de serveur HTTP ou compatible OpenAI; magasin de cache KV, désagrégation et équilibrage de charge non publiés; un seul modèle (DeepSeek-V4.1-Flash) et SM100 ou Ascend 950 uniquement; les chiffres de débit sont auto-rapportés et non reproduits.
- À qui s’adresse DeepInfer ?
- Les ingénieurs d'inférence qui font tourner DeepSeek-V4.1-Flash à l'échelle d'un cluster et veulent les kernels et réglages de DeepSeek comme référence.
- Combien coûte DeepInfer pour une équipe ou en production ?
- La FAQ place la plus petite unité efficace à 64 GPU de prefill plus 64 de decode, avec environ 400 Gbps d'interconnexion par 8 GPU et environ 14,4 To de stockage de cache KV par GPU pour une rétention de 24 heures. Il n'y a pas d'édition payante ou hébergée.
- DeepInfer est-il sûr pour les données de l’entreprise ?
- Tourne entièrement sur votre matériel ; l'arbre de code ne contient aucun module de statistiques d'usage, et le seul appel réseau du démarrage rapide est le téléchargement du modèle Hugging Face. Apache 2.0 sans limite de domaine d'usage. Aucun avis de sécurité publié.
- Quelles sont les meilleures alternatives à DeepInfer ?
- Les alternatives les plus proches que nous avons testées sont vLLM, SGLang et TensorRT-LLM.
Réponses vérifiées le 26 oct. 2026.