Was ist TensorRT-LLM?
TensorRT-LLM ist NVIDIAs Open-Source-Bibliothek, um LLMs und inzwischen auch Diffusionsmodelle für Bild und Video so schnell wie möglich auf NVIDIA-GPUs auszuführen. Sie bietet eine Python-LLM-API, einen OpenAI-kompatiblen Server (trtllm-serve), Quantisierung bis hinunter zu FP8 und NVIDIAs FP4-Formaten, In-Flight-Batching, spekulatives Decoding, disaggregiertes Serving sowie Parallelisierung über mehrere GPUs und Knoten.
Version 1.2 hat die Arbeitsweise verändert: Das TensorRT-Engine-Backend wurde entfernt, PyTorch ist jetzt das einzige Ausführungs-Backend, und Hugging-Face-Checkpoints laden direkt, ohne Engine-Build-Schritt. Die Bibliothek zielt ausschließlich auf NVIDIA-Hardware, von Ampere bis Blackwell und GB200 NVL72, unter Linux.
Das neueste stabile Release, v1.2.1, stammt vom April 2026; die 1.3-Reihe ist nur als Release Candidates erschienen, und v1.4.0rc1 wurde am 22. Oktober 2026 getaggt.
Lohnt sich TensorRT-LLM?
TensorRT-LLM ist die Engine, gegen die du messen solltest, wenn deine Flotte aus NVIDIA-Hardware besteht und die Kosten pro Token die entscheidende Kennzahl sind. Das Projekt hat rund 14.900 GitHub-Sterne und tägliche Commits, und NVIDIAs eigener Tech-Blog zeigt das Muster: Optimierungen für DeepSeek-V4 auf Blackwell, KV-Cache-Kompression und Videogenerierung im NVL72-Maßstab landen zuerst hier.
Die alte Klage über die Einrichtung ist inzwischen weitgehend Geschichte. Vor 1.2 bedeutete Serving, Checkpoints zu konvertieren und modellspezifische Engines zu bauen; Release 1.2 hat dieses Backend gestrichen, sodass trtllm-serve einen Hugging-Face-Modellnamen direkt annimmt. Was bleibt, ist das Gewicht der Abhängigkeiten: Die pip-Installation verlangt CUDA 13, einen passenden PyTorch-Build und OpenMPI, und die Doku warnt, dass pip stillschweigend den falschen torch-Build einspielen kann. Deshalb nutzen die meisten Teams NVIDIAs NGC-Container.
Die Sicherheit verlangt mehr Sorgfalt, als das Marketing vermuten lässt. NVIDIAs Bulletin vom Mai 2026 behob in v1.2 und v1.2.1 mehrere Schwachstellen durch unsichere Deserialisierung und Race Conditions in den RPC- und MPI-Schichten, und die NVD veröffentlichte am 14. Juli 2026 eine zweite Runde, darunter CVE-2026-24233 (8.4), eine Umgehung des eingeschränkten Unpicklers für Modellgewichte, und CVE-2026-24229, einen nicht authentifizierten FastAPI-Endpunkt im disaggregierten Orchestrator. Die CVE-Einträge führen Versionen bis 1.3.0rc14 und rc16 als betroffen, die Fixes stecken also nur in Vorabversionen von 1.3 und 1.4 (1.4.0rc1 am 22. Oktober); das neueste stabile Tag, 1.2.1, ist älter.
Der Release-Rhythmus ist der andere Kompromiss. Stabile Tags sind selten, während Release Candidates wöchentlich erscheinen, 1.2 brachte sechs Breaking Changes mit, und im Tracker liegen rund 1.800 offene Issues und Pull Requests. vLLM und SGLang laufen auch auf AMD- und TPU-Hardware. Für TensorRT-LLM spricht daher der gemessene Durchsatz mit deinem eigenen Modell auf deinen eigenen GPUs, nicht der Ruf.
Wo es sich lohnt
Ein Inferenz-Lead, der ein Modell der DeepSeek-Klasse auf HGX-B200-Knoten bereitstellt
Die Kosten pro Million Token auf bereits gekaufter Hardware senken
trtllm-serve aus dem NGC-Container mit FP4- oder FP8-Checkpoints und disaggregiertem Prefill und Decode betreiben. Die Software ist kostenlos; die Ersparnis gibt es nur, wenn ein Benchmark mit deinem eigenen Traffic vLLM oder SGLang so deutlich schlägt, dass sich der zusätzliche Engineering-Aufwand lohnt.
Ein Plattform-Team in einem Unternehmen mit NVIDIA-AI-Enterprise-Vertrag
Offene Modelle mit Support-Vertrag des Herstellers betreiben
TensorRT-LLM innerhalb von NVIDIAs NIM-Containern nutzen, abgedeckt durch AI Enterprise zum Listenpreis von 4.500 $ pro GPU und Jahr oder 1 $ pro GPU-Stunde auf Cloud-Marktplätzen. Ein Knoten mit 8 GPUs kostet damit laut Liste 36.000 $ im Jahr.
Eine Forscherin an einer einzelnen RTX- oder Ada-Workstation
Ein 8B-Modell lokal mit einer API im OpenAI-Stil bereitstellen
pip install tensorrt_llm unter Ubuntu mit CUDA 13, dann trtllm-serve mit einem FP8-Checkpoint wie nvidia/Qwen3-8B-FP8. Das funktioniert, aber auf einer einzelnen Consumer-Karte sind vLLM oder llama.cpp einfacher.
Bevor du dich festlegst
- Einrichtung
- Den NGC-Release-Container ziehen oder pip install tensorrt_llm unter Linux mit CUDA 13, einem PyTorch-Build für CUDA 13 und libopenmpi-dev; trtllm-serve <hf_model> startet einen OpenAI-kompatiblen Server auf Port 8000.
- Integrationen
- OpenAI-kompatible HTTP-API; Python-LLM-API; NVIDIA Dynamo und Triton für die Orchestrierung; NIM-Container; Deployment-Anleitungen für Slurm und Kubernetes.
- Daten und Datenschutz
- Läuft auf deiner Hardware, ohne gehosteten Dienst. Die CVEs von 2026 umfassen Remote Code Execution durch unsichere Deserialisierung in RPC, MPI, ZeroMQ und beim Laden von Gewichten sowie eine nicht authentifizierte Orchestrator-API. Halte interne Ports also aus geteilten Netzen heraus und lade Gewichte nur aus vertrauenswürdigen Quellen. Apache 2.0, einige mitgelieferte Drittkomponenten stehen unter eigenen Lizenzen.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; die Kosten sind NVIDIA-GPUs, die für Gewichte und KV-Cache ausgelegt sind. Bezahlten Support gibt es über NVIDIA AI Enterprise zum Listenpreis von 4.500 $ pro GPU und Jahr für selbst verwaltete Systeme oder 1 $ pro GPU-Stunde auf Cloud-Marktplätzen.
- Grenzen
- Nur NVIDIA-GPUs, FP8 auf Hopper und Ada, nicht auf Ampere; rund 1.800 offene Issues und Pull Requests; Breaking Changes in Minor-Releases; das neueste stabile Tag, 1.2.1, ist älter als die CVE-Fixes vom Juli 2026, die bisher nur in Vorabversionen enthalten sind.
Was gut ist
- Erste Unterstützung für neue NVIDIA-Hardware und Formate wie FP4
- Seit 1.2 kein Engine-Build-Schritt; lädt Hugging-Face-Checkpoints
- OpenAI-kompatibles trtllm-serve
- Disaggregiertes Serving und Parallelisierung im NVL72-Maßstab
Was nicht
- Nur NVIDIA-GPUs und Linux
- Zwei CVE-Runden 2026, mehrere davon im Deserialisierungscode
- Stabile Releases selten; 1.3 kam nie über Release Candidates hinaus
- Schwerer Abhängigkeits-Stack aus CUDA, PyTorch und MPI
Am besten für
Teams mit großen NVIDIA-GPU-Flotten, die maximalen Durchsatz pro GPU wollen.
Alternativen zu TensorRT-LLM
TensorRT-LLM: häufige Fragen
- Lohnt sich TensorRT-LLM?
- Bei TensorRT-LLM bekommt neue NVIDIA-Hardware ihre ersten ernsthaften Optimierungen, der Preis dafür sind eine lange CVE-Liste und stabile Releases, deren Takt sich in Jahreszeiten bemisst. Wir bewerten es mit 4.0 von 5.
- Was kostet TensorRT-LLM?
- Kostenlos und Open Source unter der Apache-2.0-Lizenz (einige mitgelieferte Komponenten haben eigene Lizenzen).
- Welche Nachteile hat TensorRT-LLM?
- Nur NVIDIA-GPUs und Linux; Zwei CVE-Runden 2026, mehrere davon im Deserialisierungscode; Stabile Releases selten; 1.3 kam nie über Release Candidates hinaus; Schwerer Abhängigkeits-Stack aus CUDA, PyTorch und MPI.
- Für wen eignet sich TensorRT-LLM?
- Teams mit großen NVIDIA-GPU-Flotten, die maximalen Durchsatz pro GPU wollen.
- Was kostet TensorRT-LLM für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; die Kosten sind NVIDIA-GPUs, die für Gewichte und KV-Cache ausgelegt sind. Bezahlten Support gibt es über NVIDIA AI Enterprise zum Listenpreis von 4.500 $ pro GPU und Jahr für selbst verwaltete Systeme oder 1 $ pro GPU-Stunde auf Cloud-Marktplätzen.
- Ist TensorRT-LLM sicher für Firmendaten?
- Läuft auf deiner Hardware, ohne gehosteten Dienst. Die CVEs von 2026 umfassen Remote Code Execution durch unsichere Deserialisierung in RPC, MPI, ZeroMQ und beim Laden von Gewichten sowie eine nicht authentifizierte Orchestrator-API. Halte interne Ports also aus geteilten Netzen heraus und lade Gewichte nur aus vertrauenswürdigen Quellen. Apache 2.0, einige mitgelieferte Drittkomponenten stehen unter eigenen Lizenzen.
- Was sind die besten Alternativen zu TensorRT-LLM?
- Die nächsten Alternativen, die wir getestet haben, sind vLLM und SGLang.
Antworten geprüft am 26. Okt. 2026.