Was ist SGLang?
SGLang ist ein Serving-Framework für Sprach-, Vision-Language- und Diffusionsmodelle, getragen von der gemeinnützigen Organisation LMSYS. Seine bekannteste Funktion ist RadixAttention, das Arbeit zwischen Anfragen wiederverwendet, die gleich beginnen, etwa mit einem langen System-Prompt.
Es bietet einen OpenAI-kompatiblen Server, Parallelisierung über mehrere GPUs und Knoten, Quantisierung, Speculative Decoding und strukturierte Ausgabe. Es läuft auf NVIDIA-GPUs von RTX-Karten bis B300 und GB300, auf AMD Instinct MI300X bis MI355X, Google-TPUs sowie Hardware von Intel und Huawei Ascend, und es ist die Rollout-Engine in RL-Trainingsframeworks wie verl, slime und AReaL.
Releases erscheinen etwa alle zwei Wochen; v0.5.22 wurde am 19. Oktober 2026 veröffentlicht.
Lohnt sich SGLang?
SGLang ist die stärkste Alternative zu vLLM für Serving mit vielen gemeinsamen Präfixen und diejenige, deren Sicherheitslage die meiste Sorgfalt braucht. Es hat rund 37.700 GitHub-Sterne und veröffentlicht etwa alle zwei Wochen ein Release. RadixAttention hält einen Baum zwischengespeicherter Prompt-Präfixe vor, sodass wiederholte System-Prompts, Few-Shot-Beispiele und mehrstufige Gesprächsverläufe nicht für jede Anfrage neu berechnet werden.
Dieses Design passt zu Agenten und Reinforcement Learning. Agentenschleifen senden denselben langen Kontext viele Male, und RL-Training erzeugt riesige Mengen an Rollouts aus gemeinsamen Prompts, weshalb verl, slime, AReaL und Googles Tunix SGLang für die Generierung nutzen. Die Hardwareabdeckung ist inzwischen breit, von RTX-Karten für Endkunden bis zu B300, MI355X, TPU v7 und Ascend-NPUs, und NVIDIA Dynamo, llm-d und Ray Serve können es orchestrieren.
Die Sicherheit ist der Schwachpunkt. 2026 veröffentlichte CERT/CC Hinweise zu mehreren Lücken mit Remote Code Execution, darunter CVE-2026-5760, eine Template Injection über eine bösartige GGUF-Modelldatei mit einer Bewertung von 9,8, und im Mai legte Antiproof drei weitere offen (CVE-2026-7301, 7302 und 7304), zwei davon mit unsicherer Pickle-Deserialisierung, und erklärte, die Maintainer hätten nicht reagiert und es gebe keinen Patch. Die Advisory-Datenbank von GitHub führt alle drei inzwischen als kritisch und mit betroffenen Versionen bis 0.5.12, ohne ein gepatchtes Release zu nennen; das aktuelle Release ist v0.5.22, und eine am 6. Oktober gemergte Änderung bindet den Socket des multimodalen Schedulers an Loopback, auch wenn der Server auf 0.0.0.0 läuft. Der Template-Bug ist im Code inzwischen behoben, aber SGLangs eigene Serving-Beispiele binden an 0.0.0.0, und der Server sollte nie ohne vorgeschaltete Authentifizierung einem nicht vertrauenswürdigen Netzwerk ausgesetzt sein.
Die Abwägungen gegenüber vLLM sind bekannt. Das Tuning setzt Serving-Erfahrung voraus, und der Tracker trägt rund 6.000 offene Issues und Pull Requests. Wie viel RadixAttention spart, hängt davon ab, wie lang das gemeinsame Präfix in deinem eigenen Traffic ist, deshalb ist ein Benchmark mit echten Anfragen mehr wert als jedes veröffentlichte Diagramm.
Wo es sich lohnt
Ein Platform-Engineer, der einer internen Agentenflotte ein offenes Modell auf einem H100-Knoten mit 8 GPUs bereitstellt
Latenz und GPU-Kosten senken, wenn jeder Agentenaufruf einen langen System-Prompt und eine Tool-Liste wiederholt
Starte das Docker-Image lmsysorg/sglang mit dem OpenAI-kompatiblen Server und richte die Agenten darauf aus; RadixAttention verwendet das gemeinsame Präfix über Aufrufe hinweg wieder. Die Software ist kostenlos; die Kosten sind der Knoten, der in einem privaten Netzwerk hinter Authentifizierung stehen muss.
Eine ML-Forscherin, die RL-Post-Training mit verl oder slime betreibt
Rollouts schnell genug erzeugen, um die Trainings-GPUs ausgelastet zu halten
Beide Frameworks nutzen SGLang als Generierungs-Engine, teilen Prompt-Präfixe und aktualisieren die Gewichte zwischen den Schritten direkt. Kostenlos; in den Endpunkten für Gewichts-Updates saßen frühere Deserialisierungsbugs, halte sie also aus geteilten Netzwerken heraus.
Ein Infrastruktur-Lead in einem Unternehmen, das auf AMD MI300X standardisiert hat
Ein Chatmodell selbst hosten, ohne von reiner CUDA-Software abhängig zu sein
SGLang führt MI300X bis MI355X als unterstützte Plattformen mit eigener Dokumentation. Unter Apache 2.0 fallen keine Lizenzgebühren an; Enterprise-Support heißt, LMSYS zu kontaktieren, ohne veröffentlichten Preis.
Bevor du dich festlegst
- Einrichtung
- docker pull lmsysorg/sglang:latest oder uv pip install sglang unter Python 3.11 oder neuer, dann den Server mit einem Hugging-Face-Modellpfad starten; braucht eine unterstützte GPU, TPU oder NPU mit genug Speicher für Gewichte und KV-Cache.
- Integrationen
- OpenAI-kompatible API; Deployment über NVIDIA Dynamo, llm-d und Ray Serve; die RL-Frameworks verl, slime, AReaL, Tunix und Miles; SpecForge zum Trainieren von Draft-Modellen für Speculative Decoding.
- Daten und Datenschutz
- Läuft vollständig auf deiner Hardware, ohne gehosteten Dienst. Mehrere CVEs von 2026 erlauben Remote Code Execution, wenn HTTP- oder ZMQ-Ports erreichbar sind oder nicht vertrauenswürdige Modelldateien geladen werden, binde also an ein privates Netzwerk, ergänze Authentifizierung und lade Modelle nur aus vertrauenswürdigen Quellen. Apache 2.0.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Kosten sind Beschleuniger, dimensioniert nach Gewichten und KV-Cache des Modells. LMSYS verkauft keine kostenpflichtige Edition; Enterprise-Support und Beratung laufen über sglang@lmsys.org.
- Grenzen
- Rund 6.000 offene Issues und Pull Requests; manche neuen Modelle kommen zuerst in vLLM an; GitHubs Advisories zu den drei CVEs, die Antiproof im Mai 2026 offenlegte, führen Versionen bis 0.5.12 als betroffen, nennen aber keine gepatchte Version.
Was gut ist
- RadixAttention verwendet gemeinsame Prompt-Präfixe wieder
- Breite Hardwareunterstützung über NVIDIA hinaus
- Verbreitete Rollout-Engine für RL-Frameworks
- OpenAI-kompatibler Server
Was nicht
- Mehrere kritische CVEs 2026 und langsame Reaktionen auf Offenlegungen
- Kleineres Ökosystem als vLLM
- Das Tuning setzt Serving-Erfahrung voraus
- Rund 6.000 offene Issues und Pull Requests
Am besten für
Teams, die offene Modelle mit starker Wiederverwendung von Prompts bereitstellen, etwa für Agenten und mehrstufigen Chat.
Alternativen zu SGLang
SGLang: häufige Fragen
- Lohnt sich SGLang?
- SGLang ist für Agenten- und RL-Workloads gebaut, die dieselben langen Prompts immer wieder senden, und gehört hinter ein abgeschottetes Netzwerk. Wir bewerten es mit 4.4 von 5.
- Was kostet SGLang?
- Kostenlos und Open Source unter der Apache-2.0-Lizenz.
- Welche Nachteile hat SGLang?
- Mehrere kritische CVEs 2026 und langsame Reaktionen auf Offenlegungen; Kleineres Ökosystem als vLLM; Das Tuning setzt Serving-Erfahrung voraus; Rund 6.000 offene Issues und Pull Requests.
- Für wen eignet sich SGLang?
- Teams, die offene Modelle mit starker Wiederverwendung von Prompts bereitstellen, etwa für Agenten und mehrstufigen Chat.
- Was kostet SGLang für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Kosten sind Beschleuniger, dimensioniert nach Gewichten und KV-Cache des Modells. LMSYS verkauft keine kostenpflichtige Edition; Enterprise-Support und Beratung laufen über sglang@lmsys.org.
- Ist SGLang sicher für Firmendaten?
- Läuft vollständig auf deiner Hardware, ohne gehosteten Dienst. Mehrere CVEs von 2026 erlauben Remote Code Execution, wenn HTTP- oder ZMQ-Ports erreichbar sind oder nicht vertrauenswürdige Modelldateien geladen werden, binde also an ein privates Netzwerk, ergänze Authentifizierung und lade Modelle nur aus vertrauenswürdigen Quellen. Apache 2.0.
- Was sind die besten Alternativen zu SGLang?
- Die nächsten Alternativen, die wir getestet haben, sind vLLM und TensorRT-LLM.
Antworten geprüft am 26. Okt. 2026.