¿Qué es TensorRT-LLM?
TensorRT-LLM es la biblioteca de código abierto de NVIDIA para ejecutar LLM, y ahora también modelos de difusión para imagen y vídeo, lo más rápido posible en GPU de NVIDIA. Ofrece una LLM API de Python, un servidor compatible con OpenAI (trtllm-serve), cuantización hasta FP8 y los formatos FP4 de NVIDIA, in-flight batching, decodificación especulativa, servicio desagregado y paralelismo multi-GPU y multinodo.
La versión 1.2 cambió su funcionamiento: se eliminó el backend de motores TensorRT, PyTorch es ahora el único backend de ejecución y los checkpoints de Hugging Face se cargan directamente, sin paso de compilación de motores. Solo funciona en hardware de NVIDIA, de Ampere a Blackwell y GB200 NVL72, en Linux.
La última versión estable, v1.2.1, es de abril de 2026; la línea 1.3 solo ha salido como release candidates, y v1.4.0rc1 se etiquetó el 22 de octubre de 2026.
¿Merece la pena TensorRT-LLM?
TensorRT-LLM es el motor que hay que medir si tu flota es de NVIDIA y la métrica que importa es el coste por token. Tiene unas 14.900 estrellas en GitHub y commits diarios, y el propio blog técnico de NVIDIA muestra el patrón: las optimizaciones de DeepSeek-V4 para Blackwell, la compresión de la caché KV y la generación de vídeo a escala NVL72 llegan aquí primero.
La vieja queja sobre la instalación es ya casi historia. Antes de la 1.2, servir un modelo exigía convertir checkpoints y compilar motores específicos para cada modelo; la versión 1.2 eliminó ese backend, así que trtllm-serve acepta directamente el nombre de un modelo de Hugging Face. Lo que queda es el peso de las dependencias: la instalación con pip pide CUDA 13, una build de PyTorch a juego y OpenMPI, y la documentación advierte de que pip puede colar sin avisar una build de torch equivocada, por eso la mayoría de los equipos usa el contenedor NGC de NVIDIA.
La seguridad necesita más cuidado del que sugiere el marketing. El boletín de NVIDIA de mayo de 2026 corrigió en v1.2 y v1.2.1 varios fallos de deserialización insegura y condiciones de carrera en las capas RPC y MPI, y NVD publicó una segunda tanda el 14 de julio de 2026, que incluye CVE-2026-24233 (8.4), una forma de saltarse el unpickler restringido que se usa para los pesos del modelo, y CVE-2026-24229, un endpoint de FastAPI sin autenticación en el orquestador desagregado. Los registros CVE dan como afectadas las versiones hasta 1.3.0rc14 y rc16, así que las correcciones solo están en las pre-releases 1.3 y 1.4 (1.4.0rc1 el 22 de octubre); la etiqueta estable más reciente, 1.2.1, es anterior a ellas.
El ritmo de versiones es el otro inconveniente. Las etiquetas estables son escasas mientras que los release candidates llegan cada semana, la 1.2 trajo seis cambios incompatibles y el tracker acumula unas 1.800 issues y pull requests abiertas. vLLM y SGLang también funcionan en hardware de AMD y TPU, así que la razón para elegir TensorRT-LLM depende del rendimiento medido con tu propio modelo y tus GPU, no de la reputación.
Dónde se gana su sitio
Un responsable de inferencia que sirve un modelo de la clase DeepSeek en nodos HGX B200
Reducir el coste por millón de tokens en hardware ya comprado
Ejecutar trtllm-serve desde el contenedor NGC con checkpoints FP4 o FP8 y prefill y decode desagregados. El software es gratuito; el ahorro solo existe si un benchmark con tu propio tráfico supera a vLLM o SGLang por lo suficiente para cubrir el trabajo de ingeniería extra.
Un equipo de plataforma en una empresa con un acuerdo de NVIDIA AI Enterprise
Ejecutar modelos abiertos con un contrato de soporte del fabricante
Usar TensorRT-LLM dentro de los contenedores NIM de NVIDIA, cubiertos por AI Enterprise a un precio de lista de 4.500 $ por GPU al año, o 1 $ por GPU-hora en los marketplaces de la nube, de modo que un nodo de 8 GPU sale a 36.000 $ al año de lista.
Un investigador con una sola estación de trabajo RTX o Ada
Servir un modelo de 8B en local con una API al estilo de OpenAI
pip install tensorrt_llm en Ubuntu con CUDA 13 y luego trtllm-serve con un checkpoint FP8 como nvidia/Qwen3-8B-FP8. Funciona, pero vLLM o llama.cpp son más sencillos en una sola tarjeta de consumo.
Antes de decidirte
- Puesta en marcha
- Descarga el contenedor de la versión en NGC, o ejecuta pip install tensorrt_llm en Linux con CUDA 13, una build de PyTorch para CUDA 13 y libopenmpi-dev; trtllm-serve <hf_model> arranca un servidor compatible con OpenAI en el puerto 8000.
- Integraciones
- API HTTP compatible con OpenAI; LLM API de Python; NVIDIA Dynamo y Triton para orquestación; contenedores NIM; guías de despliegue en Slurm y Kubernetes.
- Datos y privacidad
- Se ejecuta en tu hardware sin servicio alojado. Los CVE de 2026 incluyen ejecución remota de código mediante deserialización insegura en RPC, MPI, ZeroMQ y la carga de pesos, además de una API del orquestador sin autenticación, así que mantén los puertos internos fuera de redes compartidas y carga pesos solo de fuentes de confianza. Apache 2.0, con algunos componentes de terceros incluidos bajo sus propias licencias.
- Coste a escala
- La biblioteca es gratuita; el coste son GPU de NVIDIA dimensionadas para los pesos y la caché KV. El soporte de pago llega a través de NVIDIA AI Enterprise a 4.500 $ por GPU al año de lista para sistemas autogestionados, o 1 $ por GPU-hora en los marketplaces de la nube.
- Límites
- Solo GPU de NVIDIA, con FP8 en Hopper y Ada pero no en Ampere; unas 1.800 issues y pull requests abiertas; cambios incompatibles en versiones menores; la última etiqueta estable, 1.2.1, es anterior a las correcciones de los CVE de julio de 2026, que de momento solo llegan en pre-releases.
Lo bueno
- Primero en soportar nuevo hardware y formatos de NVIDIA como FP4
- Sin paso de compilación de motores desde la 1.2; carga checkpoints de Hugging Face
- trtllm-serve compatible con OpenAI
- Servicio desagregado y paralelismo a escala NVL72
Lo malo
- Solo GPU de NVIDIA y Linux
- Dos rondas de CVE en 2026, varias en código de deserialización
- Versiones estables escasas; la 1.3 nunca salió de release candidate
- Pila de dependencias pesada de CUDA, PyTorch y MPI
Ideal para
Equipos con grandes flotas de GPU de NVIDIA que quieren el máximo rendimiento por GPU.
Alternativas a TensorRT-LLM
TensorRT-LLM: preguntas frecuentes
- ¿Merece la pena TensorRT-LLM?
- TensorRT-LLM es donde el nuevo silicio de NVIDIA recibe sus primeras optimizaciones serias, y el precio es una larga lista de CVE y un ritmo de versiones estables que se mide en estaciones. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta TensorRT-LLM?
- Gratuito y de código abierto con licencia Apache 2.0 (algunos componentes incluidos tienen sus propias licencias).
- ¿Qué inconvenientes tiene TensorRT-LLM?
- Solo GPU de NVIDIA y Linux; dos rondas de CVE en 2026, varias en código de deserialización; versiones estables escasas; la 1.3 nunca salió de release candidate; pila de dependencias pesada de CUDA, PyTorch y MPI.
- ¿Para quién es TensorRT-LLM?
- Equipos con grandes flotas de GPU de NVIDIA que quieren el máximo rendimiento por GPU.
- ¿Cuánto cuesta TensorRT-LLM para un equipo o en producción?
- La biblioteca es gratuita; el coste son GPU de NVIDIA dimensionadas para los pesos y la caché KV. El soporte de pago llega a través de NVIDIA AI Enterprise a 4.500 $ por GPU al año de lista para sistemas autogestionados, o 1 $ por GPU-hora en los marketplaces de la nube.
- ¿Es TensorRT-LLM seguro para los datos de la empresa?
- Se ejecuta en tu hardware sin servicio alojado. Los CVE de 2026 incluyen ejecución remota de código mediante deserialización insegura en RPC, MPI, ZeroMQ y la carga de pesos, además de una API del orquestador sin autenticación, así que mantén los puertos internos fuera de redes compartidas y carga pesos solo de fuentes de confianza. Apache 2.0, con algunos componentes de terceros incluidos bajo sus propias licencias.
- ¿Cuáles son las mejores alternativas a TensorRT-LLM?
- Las alternativas más cercanas que hemos analizado son vLLM y SGLang.
Respuestas comprobadas el 26 oct 2026.