Qu’est-ce que SGLang ?
SGLang est un framework de service pour les modèles de langage, vision-langage et de diffusion, hébergé par l'organisation à but non lucratif LMSYS. Sa fonction la plus connue est RadixAttention, qui réutilise le travail entre les requêtes partageant le même début, comme un long prompt système.
Il offre un serveur compatible OpenAI, du parallélisme multi-GPU et multi-nœuds, la quantisation, le décodage spéculatif et la sortie structurée. Il tourne sur les GPU NVIDIA des cartes RTX aux B300 et GB300, AMD Instinct MI300X à MI355X, les TPU Google, le matériel Intel et Huawei Ascend, et il est le moteur de rollout à l'intérieur des frameworks d'entraînement RL comme verl, slime et AReaL.
Les versions atterrissent environ toutes les deux semaines ; v0.5.22 a été publiée le 19 octobre 2026.
SGLang vaut-il le coup ?
SGLang est la plus solide alternative à vLLM pour le service lourd en préfixes, et celle dont la posture de sécurité a besoin du plus de soin. Il a environ 37 700 étoiles GitHub et livre une version toutes les deux semaines environ. RadixAttention garde un arbre de préfixes de prompts en cache, si bien que les prompts système répétés, les exemples few-shot et les historiques multi-tours ne sont pas recalculés pour chaque requête.
Cette conception convient aux agents et à l'apprentissage par renforcement. Les boucles d'agents renvoient le même long contexte de nombreuses fois, et l'entraînement RL génère d'énormes quantités de rollouts à partir de prompts partagés, raison pour laquelle verl, slime, AReaL et Tunix de Google utilisent SGLang pour la génération. La couverture matérielle est désormais large, des cartes RTX grand public aux B300, MI355X, TPU v7 et NPU Ascend, et NVIDIA Dynamo, llm-d et Ray Serve peuvent l'orchestrer.
La sécurité est le point faible. En 2026, CERT/CC a publié des notes sur plusieurs failles d'exécution de code à distance, dont CVE-2026-5760, une injection de template via un fichier de modèle GGUF malveillant notée 9,8, et en mai Antiproof en a divulgué trois autres (CVE-2026-7301, 7302 et 7304), deux impliquant une désérialisation pickle non sûre, disant que les mainteneurs n'avaient pas répondu et qu'aucun correctif n'existait. La base de données d'avis de GitHub liste désormais les trois comme critiques et affectant les versions jusqu'à 0.5.12, sans nommer une version corrigée ; la version actuelle est v0.5.22, et un changement fusionné le 6 octobre fixe le socket du planificateur multimodal à loopback même quand le serveur tourne sur 0.0.0.0. Le bug de template a depuis été corrigé dans le code, mais les propres exemples de service de SGLang se lient à 0.0.0.0, et le serveur ne devrait jamais faire face à un réseau non fiable sans authentification devant.
Les compromis face à vLLM sont familiers. Le réglage suppose de l'expérience de service et le suivi porte environ 6 000 issues et pull requests ouvertes. Combien RadixAttention économise dépend de la longueur du préfixe partagé dans votre propre trafic, ce qui rend un benchmark sur de vraies requêtes plus utile que n'importe quel graphique publié.
Là où il fait la différence
Un ingénieur plateforme qui sert un modèle ouvert à une flotte d'agents internes sur un seul nœud 8-GPU H100
Réduire la latence et le coût GPU quand chaque appel d'agent répète un long prompt système et une liste d'outils
Faites tourner l'image Docker lmsysorg/sglang avec le serveur compatible OpenAI et pointez les agents dessus ; RadixAttention réutilise le préfixe partagé entre les appels. Le logiciel est gratuit ; le coût est le nœud, qui doit se trouver sur un réseau privé derrière une authentification.
Un chercheur ML qui fait du post-entraînement RL avec verl ou slime
Générer les rollouts assez vite pour garder les GPU d'entraînement occupés
Les deux frameworks utilisent SGLang comme moteur de génération, partageant les préfixes de prompts et mettant à jour les poids en place entre les étapes. Gratuit ; les endpoints de mise à jour de poids sont là où se trouvaient les bugs de désérialisation antérieurs, alors gardez-les hors des réseaux partagés.
Un responsable d'infrastructure dans une entreprise standardisée sur AMD MI300X
Auto-héberger un modèle de chat sans dépendre de logiciels CUDA uniquement
SGLang liste MI300X à MI355X comme plateformes prises en charge avec de la documentation dédiée. Pas de frais de licence sous Apache 2.0 ; le support entreprise signifie contacter LMSYS, sans prix publié.
Avant de vous engager
- Mise en route
- docker pull lmsysorg/sglang:latest, ou uv pip install sglang sur Python 3.11 ou plus récent, puis lancez le serveur avec un chemin de modèle Hugging Face ; a besoin d'un GPU, TPU ou NPU pris en charge avec de la mémoire pour les poids et le cache KV.
- Intégrations
- API compatible OpenAI ; déploiement via NVIDIA Dynamo, llm-d et Ray Serve ; frameworks RL verl, slime, AReaL, Tunix et Miles ; SpecForge pour entraîner des modèles de brouillon de décodage spéculatif.
- Données et confidentialité
- Tourne entièrement sur votre matériel sans service hébergé. Plusieurs CVE de 2026 permettent l'exécution de code à distance quand les ports HTTP ou ZMQ sont atteignables ou que des fichiers de modèles non fiables sont chargés, alors liez à un réseau privé, ajoutez une authentification et ne chargez des modèles que de sources de confiance. Apache 2.0.
- Coût à grande échelle
- Le logiciel est gratuit ; le coût est les accélérateurs dimensionnés aux poids du modèle et au cache KV. LMSYS ne vend aucune édition payante ; le support entreprise et le conseil sont arrangés via sglang@lmsys.org.
- Limites
- Environ 6 000 issues et pull requests ouvertes ; certains nouveaux modèles arrivent d'abord dans vLLM ; les avis de GitHub pour les trois CVE qu'Antiproof a divulguées en mai 2026 listent les versions jusqu'à 0.5.12 comme affectées mais ne nomment aucune version corrigée.
Les points forts
- RadixAttention réutilise les préfixes de prompts partagés
- Large prise en charge matérielle au-delà de NVIDIA
- Moteur de rollout courant pour les frameworks RL
- Serveur compatible OpenAI
Les points faibles
- Plusieurs CVE critiques de 2026 et des réponses de divulgation lentes
- Écosystème plus petit que vLLM
- Le réglage suppose de l'expérience de service
- Environ 6 000 issues et pull requests ouvertes
Idéal pour
Les équipes qui servent des modèles ouverts avec une forte réutilisation de prompts, comme les agents et le chat multi-tours.
Alternatives à SGLang
SGLang : questions fréquentes
- SGLang vaut-il le coup ?
- SGLang est bâti pour les charges de travail d'agents et de RL qui renvoient les mêmes longs prompts, et il a sa place derrière un réseau verrouillé. Nous lui donnons 4.4 sur 5.
- Combien coûte SGLang ?
- Gratuit et open source sous la licence Apache 2.0.
- Quels sont les inconvénients de SGLang ?
- Plusieurs CVE critiques de 2026 et des réponses de divulgation lentes; écosystème plus petit que vLLM; le réglage suppose de l'expérience de service; environ 6 000 issues et pull requests ouvertes.
- À qui s’adresse SGLang ?
- Les équipes qui servent des modèles ouverts avec une forte réutilisation de prompts, comme les agents et le chat multi-tours.
- Combien coûte SGLang pour une équipe ou en production ?
- Le logiciel est gratuit ; le coût est les accélérateurs dimensionnés aux poids du modèle et au cache KV. LMSYS ne vend aucune édition payante ; le support entreprise et le conseil sont arrangés via sglang@lmsys.org.
- SGLang est-il sûr pour les données de l’entreprise ?
- Tourne entièrement sur votre matériel sans service hébergé. Plusieurs CVE de 2026 permettent l'exécution de code à distance quand les ports HTTP ou ZMQ sont atteignables ou que des fichiers de modèles non fiables sont chargés, alors liez à un réseau privé, ajoutez une authentification et ne chargez des modèles que de sources de confiance. Apache 2.0.
- Quelles sont les meilleures alternatives à SGLang ?
- Les alternatives les plus proches que nous avons testées sont vLLM et TensorRT-LLM.
Réponses vérifiées le 26 oct. 2026.