Was ist vLLM?
vLLM ist eine Serving-Engine, um Sprachmodelle in der Produktion zu betreiben. Sie entstand im Sky Computing Lab der UC Berkeley und ist bekannt für PagedAttention, eine Art der GPU-Speicherverwaltung, mit der ein Server viele Anfragen gleichzeitig bewältigt. Mehr als 2.000 Menschen haben beigetragen.
Sie bietet einen OpenAI-kompatiblen API-Server (dazu Anthropic Messages und gRPC), Continuous Batching, Prefix Caching, spekulatives Decoding, viele Quantisierungsformate sowie Tensor-, Pipeline- und Expert-Parallelität, um große Modelle auf mehrere GPUs zu verteilen. Sie läuft unter Linux mit NVIDIA-GPUs ab Compute Capability 7.5, AMD-GPUs ab ROCm 6.3 und Intel-GPUs, mit Plugins für TPUs und andere Beschleuniger.
Der Release-Takt ist schnell und bricht Bestehendes: v0.32.0, veröffentlicht am 18. Oktober 2026, bündelte 814 Commits von 363 Mitwirkenden und strich Python 3.10.
Lohnt sich vLLM?
vLLM ist der Standardweg, Open-Weight-Modelle an viele gleichzeitige Nutzer auszuliefern, und für die meisten Teams ist die Frage nicht mehr, ob es schnell genug ist, sondern ob sie es sicher betreiben können. Es hat rund 95.200 GitHub-Sterne, unterstützt mehr als 200 Modellarchitekturen und hat seit Juli 2026 etwa alle zwei Wochen eine neue Minor-Version veröffentlicht.
PagedAttention speichert den Attention-Cache in kleinen Blöcken, sodass kein GPU-Speicher brachliegt, und erhöht damit die Zahl der Anfragen, die eine Karte gleichzeitig halten kann. Continuous Batching, Chunked Prefill und Prefix Caching halten sie ausgelastet. Die Serving-API spricht das Format von OpenAI, der meiste Client-Code braucht also nur eine neue Basis-URL, und Quantisierungsoptionen von FP8 und NVFP4 bis GPTQ, AWQ und GGUF lassen ein Modell auf weniger Karten passen.
Das Sicherheitsmodell solltest du vor dem Deployment lesen. Laut vLLMs eigenem Sicherheitsleitfaden schützt --api-key nur die Routen /v1, /v2, /inference und /cohere; /invocations erlaubt Inferenz ohne Authentifizierung, /pause kann den Server lahmlegen, und der Verkehr zwischen Knoten in einem Multi-Node-Setup ist standardmäßig weder verschlüsselt noch authentifiziert. GitHub führt allein für 2026 86 Advisories für das Projekt, die meisten davon Abstürze der Engine durch eine einzelne Anfrage, dazu eine kritische Umgehung der Authentifizierung in der OpenAI-API im Juni. Anonyme Nutzungsstatistiken werden ebenfalls standardmäßig erhoben.
Der andere Preis ist der ständige Wandel. v0.32.0 entfernte Cascade Attention, strich Python 3.10 und machte max_tokens von einem reservierten Budget zu einer Obergrenze, und jede dieser Änderungen kann ein Produktions-Deployment verändern. Die Autoren von SGLang berichten bei Workloads mit vielen gemeinsamen Präfixen bis zum 6,4-fachen Durchsatz anderer Engines, und NVIDIA optimiert TensorRT-LLM zuerst für die eigenen GPUs; keine der beiden Behauptungen ersetzt einen Benchmark mit deinem eigenen Traffic. vLLMs dauerhafter Vorteil ist die Breite: Neue Open-Weight-Modelle dokumentieren beim Start meist die vLLM-Unterstützung, und das zählt Woche für Woche mehr als ein paar Prozent Durchsatz.
Wo es sich lohnt
Ein Plattform-Engineer, der ein Open-Weight-Modell hinter einen internen OpenAI-kompatiblen Endpunkt stellt
Eine gehostete API für einen internen Assistenten ersetzen, ohne den Client-Code umzuschreiben
vllm serve stellt /v1/chat/completions bereit, bestehender Code mit dem OpenAI-SDK ändert also nur seine Basis-URL. Eine On-Demand-H100-PCIe bei Lambda kostet 3,29 $ pro Stunde, rund 2.400 $ im Monat im Dauerbetrieb, dazu ein Reverse Proxy, der nur die Routen freigibt, die Nutzer brauchen.
Ein ML-Lead in einem SaaS-Unternehmen, das für einen Extraktionsjob mit hohem Volumen pro Token zahlt
Die Inferenzkosten für Millionen kurzer, ähnlicher Anfragen senken
Continuous Batching und Prefix Caching halten eine GPU über viele kurze Prompts mit gemeinsamem System-Prompt ausgelastet. Die Ersparnis hängt davon ab, die Karte rund um die Uhr zu beschäftigen, also miss die Auslastung über eine Woche echten Traffic, bevor du den API-Vertrag kündigst.
Eine Forschungsgruppe, die viele feingetunte Checkpoints evaluiert
Große Offline-Evaluierungen auf einem geteilten GPU-Cluster ausführen
Die Offline-Klasse LLM verarbeitet einen Datensatz, ohne einen Server zu starten, und Multi-LoRA-Serving lässt ein Basismodell viele Adapter tragen. Lege die vLLM-Version pro Studie fest: v0.32.0 hat geändert, wie max_tokens mit dem Kontextfenster zusammenspielt.
Bevor du dich festlegst
- Einrichtung
- uv pip install vllm, dann vllm download-kernels, unter Linux mit Python 3.11 bis 3.14 und einer NVIDIA-GPU ab Compute Capability 7.5 (ab T4). Wheels für AMD ROCm gibt es nur für Python 3.12; Windows braucht WSL.
- Integrationen
- OpenAI-kompatible API und Anthropic Messages API, gRPC, Parser für Tool-Calling und Reasoning, strukturierte Ausgabe über xgrammar oder guidance sowie Prometheus-Metriken. Modell-IDs von Hugging Face laden direkt.
- Daten und Datenschutz
- Erhebt standardmäßig anonyme Nutzungsstatistiken zu Hardware und Modellkonfiguration; VLLM_NO_USAGE_STATS=1 oder DO_NOT_TRACK=1 stoppt das. Prompts bleiben auf deinen Servern, aber der API-Schlüssel deckt nicht jede Route ab, und 2026 wurden 86 GitHub-Advisories veröffentlicht, darunter eine kritische Umgehung der Authentifizierung.
- Kosten im großen Maßstab
- Keine bezahlte Edition des Projekts. Die Kosten sind GPUs: Bei Lambda kostet eine H100 PCIe 3,29 $ pro Stunde, ein Knoten mit 8x H100 SXM 3,99 $ pro GPU-Stunde und eine B200 ab 6,69 $ pro GPU-Stunde, dazu Engineering-Zeit für Tuning und Upgrades.
- Grenzen
- 9.343 offene Issues und Pull Requests. Minor-Releases etwa alle zwei Wochen entfernen regelmäßig Flags und ändern das API-Verhalten; Verkehr zwischen Knoten ist unsicher, sofern du das Netz nicht selbst isolierst.
Was gut ist
- PagedAttention und Continuous Batching bringen hohen Durchsatz pro GPU
- APIs kompatibel zu OpenAI und Anthropic
- 200+ Modellarchitekturen, meist schon zum Start unterstützt
- NVIDIA-, AMD- und Intel-GPUs aus einer Codebasis
Was nicht
- --api-key lässt mehrere Endpunkte ohne Authentifizierung; braucht einen Reverse Proxy
- Breaking Changes in den meisten Minor-Releases
- Nur Linux; kein natives Windows, auf Laptops umständlich
Am besten für
Teams, die offene Modelle auf GPU-Servern an viele gleichzeitige Nutzer ausliefern.
Alternativen zu vLLM
vLLM: häufige Fragen
- Lohnt sich vLLM?
- Weiterhin die Engine, um ein offenes Modell hinter eine API für viele Nutzer zu stellen, vorausgesetzt, jemand im Team kümmert sich um ihre Upgrades und ihre Erreichbarkeit im Netz. Wir bewerten es mit 4.7 von 5.
- Was kostet vLLM?
- Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du zahlst für die GPUs, auf denen es läuft.
- Welche Nachteile hat vLLM?
- --api-key lässt mehrere Endpunkte ohne Authentifizierung; braucht einen Reverse Proxy; Breaking Changes in den meisten Minor-Releases; Nur Linux; kein natives Windows, auf Laptops umständlich.
- Für wen eignet sich vLLM?
- Teams, die offene Modelle auf GPU-Servern an viele gleichzeitige Nutzer ausliefern.
- Was kostet vLLM für ein Team oder im Produktivbetrieb?
- Keine bezahlte Edition des Projekts. Die Kosten sind GPUs: Bei Lambda kostet eine H100 PCIe 3,29 $ pro Stunde, ein Knoten mit 8x H100 SXM 3,99 $ pro GPU-Stunde und eine B200 ab 6,69 $ pro GPU-Stunde, dazu Engineering-Zeit für Tuning und Upgrades.
- Ist vLLM sicher für Firmendaten?
- Erhebt standardmäßig anonyme Nutzungsstatistiken zu Hardware und Modellkonfiguration; VLLM_NO_USAGE_STATS=1 oder DO_NOT_TRACK=1 stoppt das. Prompts bleiben auf deinen Servern, aber der API-Schlüssel deckt nicht jede Route ab, und 2026 wurden 86 GitHub-Advisories veröffentlicht, darunter eine kritische Umgehung der Authentifizierung.
- Was sind die besten Alternativen zu vLLM?
- Die nächsten Alternativen, die wir getestet haben, sind SGLang, TensorRT-LLM und llama.cpp.
Antworten geprüft am 26. Okt. 2026.