¿Qué es vLLM?
vLLM es un motor de servicio para ejecutar modelos de lenguaje en producción. Nació en el Sky Computing Lab de UC Berkeley y es conocido por PagedAttention, una forma de gestionar la memoria de la GPU que permite a un servidor atender muchas peticiones a la vez. Han contribuido más de 2.000 personas.
Ofrece un servidor de API compatible con OpenAI (además de Anthropic Messages y gRPC), continuous batching, caché de prefijos, decodificación especulativa, muchos formatos de cuantización y paralelismo de tensores, de pipeline y de expertos para repartir modelos grandes entre varias GPU. Funciona en Linux con GPU de NVIDIA de compute capability 7.5 o superior, GPU de AMD con ROCm 6.3 o superior y GPU de Intel, con plugins para TPU y otros aceleradores.
El ritmo de versiones es rápido y con cambios incompatibles: la v0.32.0, publicada el 18 de octubre de 2026, reunió 814 commits de 363 contribuidores y abandonó Python 3.10.
¿Merece la pena vLLM?
vLLM es la forma estándar de servir modelos de pesos abiertos a muchos usuarios simultáneos, y la pregunta para la mayoría de los equipos ya no es si es lo bastante rápido, sino si pueden ejecutarlo de forma segura. Tiene unas 95.200 estrellas en GitHub, admite más de 200 arquitecturas de modelos y ha sacado una versión menor nueva aproximadamente cada dos semanas desde julio de 2026.
PagedAttention guarda la caché de atención en bloques pequeños para que la memoria de la GPU no quede desaprovechada, lo que aumenta el número de peticiones que una tarjeta puede atender a la vez. El continuous batching, el chunked prefill y la caché de prefijos la mantienen ocupada. La API de servicio habla el formato de OpenAI, así que la mayoría del código cliente solo necesita una nueva URL base, y las opciones de cuantización, de FP8 y NVFP4 a GPTQ, AWQ y GGUF, permiten que un modelo quepa en menos tarjetas.
El modelo de seguridad hay que leerlo antes de desplegar. Según la propia guía de seguridad de vLLM, --api-key solo protege las rutas /v1, /v2, /inference y /cohere; /invocations ofrece inferencia sin autenticación, /pause puede tumbar el servidor y el tráfico entre nodos en una configuración multinodo va sin cifrar ni autenticar por defecto. GitHub recoge 86 avisos para el proyecto solo en 2026, la mayoría caídas del motor provocadas por una sola petición, además de un bypass crítico de la autenticación de la API de OpenAI en junio. También recoge estadísticas de uso anónimas por defecto.
El otro coste son los cambios constantes. La v0.32.0 eliminó la cascade attention, abandonó Python 3.10 y convirtió max_tokens de un presupuesto reservado en un límite superior, y cualquiera de esas cosas puede alterar un despliegue en producción. Los autores de SGLang dicen obtener hasta 6,4 veces el rendimiento de otros motores en cargas con mucho prefijo compartido, y NVIDIA ajusta TensorRT-LLM primero para sus propias GPU; ninguna de las dos afirmaciones sustituye a un benchmark con tu propio tráfico. La ventaja duradera de vLLM es la amplitud: los nuevos modelos de pesos abiertos suelen documentar el soporte de vLLM desde su lanzamiento, y eso importa más semana a semana que unos pocos puntos porcentuales de rendimiento.
Dónde se gana su sitio
Un ingeniero de plataforma que pone un modelo de pesos abiertos detrás de un endpoint interno compatible con OpenAI
Sustituir una API alojada para un asistente interno sin reescribir el código cliente
vllm serve expone /v1/chat/completions, así que el código existente con el SDK de OpenAI solo cambia su URL base. Una H100 PCIe bajo demanda en Lambda cuesta 3,29 $ la hora, unos 2.400 $ al mes si se deja encendida, más un proxy inverso que permita solo las rutas que necesitan los usuarios.
Un responsable de ML en una empresa SaaS que paga por token un trabajo de extracción de gran volumen
Reducir el gasto en inferencia en millones de peticiones cortas y parecidas
El continuous batching y la caché de prefijos mantienen saturada una GPU con muchos prompts cortos que comparten un system prompt. El ahorro depende de tener la tarjeta ocupada día y noche, así que mide la utilización con una semana de tráfico real antes de cancelar el contrato de la API.
Un grupo de investigación que evalúa muchos checkpoints ajustados
Ejecutar grandes lotes de evaluación offline en un clúster de GPU compartido
La clase LLM offline procesa un dataset sin ejecutar un servidor, y el servicio multi-LoRA permite que un modelo base cargue con muchos adaptadores. Fija la versión de vLLM en cada estudio: la v0.32.0 cambió cómo interactúa max_tokens con la ventana de contexto.
Antes de decidirte
- Puesta en marcha
- uv pip install vllm y luego vllm download-kernels, en Linux con Python 3.11 a 3.14 y una GPU de NVIDIA de compute capability 7.5 o superior (de la T4 en adelante). Las wheels de AMD ROCm solo existen para Python 3.12; Windows necesita WSL.
- Integraciones
- APIs compatibles con OpenAI y Anthropic Messages, gRPC, parsers de tool-calling y de razonamiento, salida estructurada mediante xgrammar o guidance, y métricas de Prometheus. Los IDs de modelos de Hugging Face se cargan directamente.
- Datos y privacidad
- Recoge por defecto estadísticas de uso anónimas sobre el hardware y la configuración del modelo; configura VLLM_NO_USAGE_STATS=1 o DO_NOT_TRACK=1 para detenerlo. Los prompts se quedan en tus servidores, pero la clave de API no cubre todas las rutas, y en 2026 se publicaron 86 avisos en GitHub, entre ellos un bypass crítico de la autenticación.
- Coste a escala
- El proyecto no tiene edición de pago. El coste son las GPU: en Lambda una H100 PCIe cuesta 3,29 $ por hora, un nodo 8x H100 SXM 3,99 $ por GPU-hora y una B200 desde 6,69 $ por GPU-hora, más el tiempo de ingeniería para ajustes y actualizaciones.
- Límites
- 9.343 issues y pull requests abiertas. Las versiones menores, aproximadamente cada dos semanas, eliminan flags y cambian el comportamiento de la API con frecuencia; el tráfico multinodo es inseguro salvo que aísles la red por tu cuenta.
Lo bueno
- PagedAttention y continuous batching dan un alto rendimiento por GPU
- APIs compatibles con OpenAI y Anthropic
- Más de 200 arquitecturas de modelos, normalmente soportadas desde el lanzamiento
- GPU de NVIDIA, AMD e Intel desde un mismo código
Lo malo
- --api-key deja varios endpoints sin autenticación; necesita un proxy inverso
- Cambios incompatibles en la mayoría de las versiones menores
- Solo Linux; sin Windows nativo, y en portátiles es incómodo
Ideal para
Equipos que sirven modelos abiertos a muchos usuarios simultáneos en servidores con GPU.
Alternativas a vLLM
vLLM: preguntas frecuentes
- ¿Merece la pena vLLM?
- Sigue siendo el motor para poner un modelo abierto detrás de una API multiusuario, siempre que alguien del equipo se haga cargo de sus actualizaciones y de su exposición en la red. Le damos un 4.7 sobre 5.
- ¿Cuánto cuesta vLLM?
- Gratuito y de código abierto con licencia Apache 2.0. Pagas las GPU en las que se ejecuta.
- ¿Qué inconvenientes tiene vLLM?
- --api-key deja varios endpoints sin autenticación; necesita un proxy inverso; cambios incompatibles en la mayoría de las versiones menores; solo Linux; sin Windows nativo, y en portátiles es incómodo.
- ¿Para quién es vLLM?
- Equipos que sirven modelos abiertos a muchos usuarios simultáneos en servidores con GPU.
- ¿Cuánto cuesta vLLM para un equipo o en producción?
- El proyecto no tiene edición de pago. El coste son las GPU: en Lambda una H100 PCIe cuesta 3,29 $ por hora, un nodo 8x H100 SXM 3,99 $ por GPU-hora y una B200 desde 6,69 $ por GPU-hora, más el tiempo de ingeniería para ajustes y actualizaciones.
- ¿Es vLLM seguro para los datos de la empresa?
- Recoge por defecto estadísticas de uso anónimas sobre el hardware y la configuración del modelo; configura VLLM_NO_USAGE_STATS=1 o DO_NOT_TRACK=1 para detenerlo. Los prompts se quedan en tus servidores, pero la clave de API no cubre todas las rutas, y en 2026 se publicaron 86 avisos en GitHub, entre ellos un bypass crítico de la autenticación.
- ¿Cuáles son las mejores alternativas a vLLM?
- Las alternativas más cercanas que hemos analizado son SGLang, TensorRT-LLM y llama.cpp.
Respuestas comprobadas el 26 oct 2026.