Qu’est-ce que vLLM ?
vLLM est un moteur de service pour faire tourner des modèles de langage en production. Il a commencé au Sky Computing Lab de l'UC Berkeley et est connu pour PagedAttention, une façon de gérer la mémoire GPU qui laisse un serveur gérer de nombreuses requêtes à la fois. Plus de 2 000 personnes ont contribué.
Il fournit un serveur d'API compatible OpenAI (plus Anthropic Messages et gRPC), le batching continu, le cache de préfixes, le décodage spéculatif, de nombreux formats de quantisation et le parallélisme de tenseur, de pipeline et d'experts pour répartir les grands modèles sur plusieurs GPU. Il tourne sur Linux avec des GPU NVIDIA de capacité de calcul 7.5 ou plus récente, des GPU AMD sur ROCm 6.3 ou plus récent, et des GPU Intel, avec des plugins pour les TPU et d'autres accélérateurs.
La cadence de versions est rapide et cassante : v0.32.0, publiée le 18 octobre 2026, a regroupé 814 commits de 363 contributeurs et a abandonné Python 3.10.
vLLM vaut-il le coup ?
vLLM est la manière standard de servir des modèles à poids ouverts à de nombreux utilisateurs simultanés, et la question pour la plupart des équipes n'est plus de savoir s'il est assez rapide mais si elles peuvent le faire tourner en sécurité. Il a environ 95 200 étoiles GitHub, prend en charge plus de 200 architectures de modèles, et a livré une nouvelle version mineure environ toutes les deux semaines depuis juillet 2026.
PagedAttention stocke le cache d'attention en petits blocs pour que la mémoire GPU ne soit pas bloquée, ce qui augmente le nombre de requêtes qu'une carte peut tenir à la fois. Le batching continu, le prefill découpé et le cache de préfixes le gardent occupé. L'API de service parle le format d'OpenAI, si bien que la plupart du code client n'a besoin que d'une nouvelle URL de base, et les options de quantisation de FP8 et NVFP4 à GPTQ, AWQ et GGUF laissent un modèle tenir sur moins de cartes.
Le modèle de sécurité a besoin d'être lu avant le déploiement. Selon le propre guide de sécurité de vLLM, --api-key ne protège que les routes /v1, /v2, /inference et /cohere ; /invocations donne une inférence non authentifiée, /pause peut faire tomber le serveur, et le trafic entre nœuds dans une configuration multi-nœuds est non chiffré et non authentifié par défaut. GitHub liste 86 avis pour le projet rien qu'en 2026, la plupart étant des crashs du moteur à requête unique, plus un contournement d'authentification critique de l'API OpenAI en juin. Les statistiques d'usage anonymes sont aussi collectées par défaut.
L'autre coût est le turnover. v0.32.0 a retiré l'attention en cascade, abandonné Python 3.10 et changé max_tokens d'un budget réservé à une borne supérieure, l'un ou l'autre pouvant altérer un déploiement de production. Les auteurs de SGLang rapportent jusqu'à 6,4 fois le débit d'autres moteurs sur les charges lourdes en préfixes, et NVIDIA règle TensorRT-LLM pour ses propres GPU d'abord ; aucune des deux affirmations ne remplace un benchmark sur votre propre trafic. L'avantage durable de vLLM est l'ampleur : les nouveaux modèles à poids ouverts documentent généralement la prise en charge vLLM au lancement, et cela compte plus semaine après semaine qu'un pourcentage ou deux de débit.
Là où il fait la différence
Un ingénieur plateforme qui met un modèle à poids ouverts derrière un endpoint interne compatible OpenAI
Remplacer une API hébergée pour un assistant interne sans réécrire le code client
vllm serve expose /v1/chat/completions, si bien que le code SDK OpenAI existant ne change que son URL de base. Un H100 PCIe à la demande sur Lambda coûte 3,29 $ l'heure, environ 2 400 $ par mois s'il reste en marche, plus un reverse proxy qui met sur liste blanche seulement les routes dont les utilisateurs ont besoin.
Un responsable ML dans une entreprise SaaS qui paie par token pour un travail d'extraction à gros volume
Réduire la dépense d'inférence sur des millions de requêtes courtes et similaires
Le batching continu et le cache de préfixes gardent un GPU saturé sur de nombreux prompts courts qui partagent un prompt système. Les économies dépendent de garder la carte occupée 24h/24, alors mesurez l'utilisation sur une semaine de vrai trafic avant d'annuler le contrat d'API.
Un groupe de recherche qui évalue de nombreux checkpoints fine-tunés
Faire tourner de grands lots d'évaluation hors ligne sur un cluster GPU partagé
La classe LLM hors ligne traite un jeu de données sans faire tourner de serveur, et le service multi-LoRA laisse un modèle de base porter de nombreux adaptateurs. Épinglez la version de vLLM par étude : v0.32.0 a changé comment max_tokens interagit avec la fenêtre de contexte.
Avant de vous engager
- Mise en route
- uv pip install vllm, puis vllm download-kernels, sur Linux avec Python 3.11 à 3.14 et un GPU NVIDIA de capacité de calcul 7.5 ou plus récente (à partir du T4). Les wheels AMD ROCm n'existent que pour Python 3.12 ; Windows a besoin de WSL.
- Intégrations
- API compatibles OpenAI et Anthropic Messages, gRPC, parseurs d'appel d'outils et de raisonnement, sortie structurée via xgrammar ou guidance, et métriques Prometheus. Les ID de modèles Hugging Face se chargent directement.
- Données et confidentialité
- Collecte des statistiques d'usage anonymes sur le matériel et la configuration du modèle par défaut ; réglez VLLM_NO_USAGE_STATS=1 ou DO_NOT_TRACK=1 pour l'arrêter. Les prompts restent sur vos serveurs, mais la clé d'API ne couvre pas chaque route, et 86 avis GitHub ont été publiés en 2026, dont un contournement d'auth critique.
- Coût à grande échelle
- Pas d'édition payante du projet. Le coût est les GPU : sur Lambda, un H100 PCIe est à 3,29 $ l'heure, un nœud 8x H100 SXM à 3,99 $ par heure-GPU et un B200 à partir de 6,69 $ par heure-GPU, plus le temps d'ingénierie pour le réglage et les mises à niveau.
- Limites
- 9 343 issues et pull requests ouvertes. Les versions mineures environ toutes les deux semaines retirent régulièrement des flags et changent le comportement de l'API ; le trafic multi-nœuds est non sécurisé sauf si vous isolez le réseau vous-même.
Les points forts
- PagedAttention et batching continu donnent un débit élevé par GPU
- API compatibles OpenAI et Anthropic
- Plus de 200 architectures de modèles, généralement prises en charge au lancement
- GPU NVIDIA, AMD et Intel depuis une seule base de code
Les points faibles
- --api-key laisse plusieurs endpoints non authentifiés ; a besoin d'un reverse proxy
- Changements cassants dans la plupart des versions mineures
- Linux uniquement ; pas de Windows natif, les portables sont gênants
Idéal pour
Les équipes qui servent des modèles ouverts à de nombreux utilisateurs simultanés sur des serveurs GPU.
Alternatives à vLLM
vLLM : questions fréquentes
- vLLM vaut-il le coup ?
- Toujours le moteur à mettre derrière une API multi-utilisateurs pour un modèle ouvert, à condition que quelqu'un dans l'équipe possède ses mises à niveau et son exposition réseau. Nous lui donnons 4.7 sur 5.
- Combien coûte vLLM ?
- Gratuit et open source sous la licence Apache 2.0. Vous payez les GPU sur lesquels il tourne.
- Quels sont les inconvénients de vLLM ?
- --api-key laisse plusieurs endpoints non authentifiés ; a besoin d'un reverse proxy; changements cassants dans la plupart des versions mineures; linux uniquement ; pas de Windows natif, les portables sont gênants.
- À qui s’adresse vLLM ?
- Les équipes qui servent des modèles ouverts à de nombreux utilisateurs simultanés sur des serveurs GPU.
- Combien coûte vLLM pour une équipe ou en production ?
- Pas d'édition payante du projet. Le coût est les GPU : sur Lambda, un H100 PCIe est à 3,29 $ l'heure, un nœud 8x H100 SXM à 3,99 $ par heure-GPU et un B200 à partir de 6,69 $ par heure-GPU, plus le temps d'ingénierie pour le réglage et les mises à niveau.
- vLLM est-il sûr pour les données de l’entreprise ?
- Collecte des statistiques d'usage anonymes sur le matériel et la configuration du modèle par défaut ; réglez VLLM_NO_USAGE_STATS=1 ou DO_NOT_TRACK=1 pour l'arrêter. Les prompts restent sur vos serveurs, mais la clé d'API ne couvre pas chaque route, et 86 avis GitHub ont été publiés en 2026, dont un contournement d'auth critique.
- Quelles sont les meilleures alternatives à vLLM ?
- Les alternatives les plus proches que nous avons testées sont SGLang, TensorRT-LLM et llama.cpp.
Réponses vérifiées le 26 oct. 2026.