O que é vLLM?
O vLLM é um mecanismo de atendimento para executar modelos de linguagem em produção. Ele começou no Sky Computing Lab da UC Berkeley e é conhecido pelo PagedAttention, uma forma de gerenciar a memória da GPU que permite a um único servidor atender a muitas requisições simultâneas. Mais de 2.000 pessoas já contribuíram.
Ele fornece um servidor de API compatível com OpenAI (além de Anthropic Messages e gRPC), continuous batching, prefix caching, speculative decoding, diversos formatos de quantização e paralelismo de tensores, pipeline e especialistas para distribuir modelos grandes por várias GPUs. Ele roda em Linux com GPUs NVIDIA de capacidade de computação 7.5 ou mais recente, GPUs AMD no ROCm 6.3 ou mais recente e GPUs Intel, com plugins para TPUs e outros aceleradores.
O ritmo de lançamentos é rápido e traz alterações incompatíveis: a versão v0.32.0, publicada em 18 de outubro de 2026, reuniu 814 commits de 363 colaboradores e removeu o suporte ao Python 3.10.
vLLM vale a pena?
O vLLM é a opção padrão para servir modelos de pesos abertos a muitos usuários simultâneos, e a questão para a maioria das equipes já não é se ele é rápido o suficiente, mas se conseguem executá-lo com segurança. O projeto conta com cerca de 95.200 estrelas no GitHub, suporta mais de 200 arquiteturas de modelos e tem lançado uma nova versão secundária aproximadamente a cada duas semanas desde julho de 2026.
O PagedAttention armazena o cache de atenção em pequenos blocos para que a memória da GPU não fique fragmentada, o que eleva o número de requisições que uma placa consegue manter ao mesmo tempo. O continuous batching, o chunked prefill e o prefix caching mantêm o hardware ocupado. A API de atendimento utiliza o formato da OpenAI, portanto a maior parte do código do cliente precisa apenas de uma nova base URL, e as opções de quantização, de FP8 e NVFP4 até GPTQ, AWQ e GGUF, permitem que um modelo caiba em menos placas.
O modelo de segurança exige leitura prévia antes da implantação. De acordo com o próprio guia de segurança do vLLM, a flag --api-key protege apenas as rotas /v1, /v2, /inference e /cohere; a rota /invocations permite inferência sem autenticação, /pause pode derrubar o servidor e o tráfego entre nós em uma configuração com múltiplos nós não possui criptografia nem autenticação por padrão. O GitHub lista 86 alertas de segurança para o projeto apenas em 2026, a maioria envolvendo travamentos do mecanismo causados por uma única requisição, além de uma falha crítica de contorno de autenticação da API da OpenAI em junho. Estatísticas anônimas de uso também são coletadas por padrão.
O outro custo é a instabilidade decorrente das frequentes mudanças. A versão v0.32.0 removeu o cascade attention, encerrou o suporte ao Python 3.10 e alterou o comportamento de max_tokens de uma reserva alocada para um limite máximo, qualquer uma das quais pode impactar uma implantação em produção. Os autores do SGLang relatam até 6,4 vezes o rendimento de outros mecanismos em cargas de trabalho com uso intensivo de prefixos, e a NVIDIA otimiza o TensorRT-LLM primeiramente para suas próprias GPUs; nenhuma dessas alegações substitui um teste de benchmark no seu próprio tráfego. A vantagem duradoura do vLLM é a sua amplitude: novos modelos de pesos abertos normalmente documentam suporte ao vLLM já no lançamento, e isso faz mais diferença semana a semana do que alguns pontos percentuais de rendimento.
Onde ele se destaca
Um engenheiro de plataforma disponibilizando um modelo de pesos abertos em um endpoint interno compatível com OpenAI
Substituir uma API hospedada para um assistente interno sem reescrever o código do cliente
O comando vllm serve expõe a rota /v1/chat/completions, portanto o código existente com o SDK da OpenAI altera apenas a sua base URL. Uma H100 PCIe sob demanda na Lambda custa $3.29 por hora, cerca de $2,400 por mês em execução contínua, mais um proxy reverso configurado com uma lista de permissões apenas para as rotas necessárias aos usuários.
Um líder de ML em uma empresa de SaaS pagando por token em uma tarefa de extração de alto volume
Reduzir gastos com inferência em milhões de requisições curtas e semelhantes
O continuous batching e o prefix caching mantêm a GPU saturada ao longo de muitas mensagens curtas que compartilham o mesmo prompt de sistema. As economias dependem de manter a placa ocupada 24 horas por dia; portanto, meça a utilização ao longo de uma semana de tráfego real antes de cancelar o contrato da API.
Um grupo de pesquisa avaliando muitos checkpoints ajustados
Executar grandes lotes de avaliação offline em um cluster compartilhado de GPUs
A classe offline LLM processa um conjunto de dados sem a necessidade de executar um servidor, e o atendimento multi-LoRA permite que um único modelo base carregue muitos adaptadores. Fixe a versão do vLLM para cada estudo: a versão v0.32.0 alterou a forma como o parâmetro max_tokens interage com a janela de contexto.
Antes de decidir
- Configuração
- uv pip install vllm, seguido de vllm download-kernels, em Linux com Python 3.11 a 3.14 e uma GPU NVIDIA com capacidade de computação 7.5 ou mais recente (T4 em diante). Os pacotes binários para AMD ROCm existem apenas para Python 3.12; o Windows exige WSL.
- Integrações
- APIs compatíveis com OpenAI e Anthropic Messages, gRPC, analisadores para tool-calling e reasoning, saídas estruturadas via xgrammar ou guidance e métricas do Prometheus. Carrega identificadores de modelos do Hugging Face diretamente.
- Dados e privacidade
- Coleta estatísticas anônimas de uso sobre hardware e configuração do modelo por padrão; defina VLLM_NO_USAGE_STATS=1 ou DO_NOT_TRACK=1 para desativar o envio. Os prompts permanecem nos seus servidores, mas a chave de API não protege todas as rotas, e 86 alertas de segurança foram publicados no GitHub em 2026, incluindo uma falha crítica de contorno de autenticação.
- Custo em escala
- Não existe edição paga fornecida pelo projeto. O custo está nas GPUs: na Lambda, uma H100 PCIe custa $3.29 por hora, um nó com 8x H100 SXM custa $3.99 por GPU-hora e uma B200 a partir de $6.69 por GPU-hora, além do tempo de engenharia para ajustes e atualizações.
- Limites
- 9.343 issues e pull requests abertos. Lançamentos secundários a cada duas semanas rotineiramente removem parâmetros e alteram o comportamento da API; o tráfego entre múltiplos nós é inseguro a menos que você mesmo faça o isolamento da rede.
O que é bom
- PagedAttention e continuous batching proporcionam alto rendimento por GPU
- APIs compatíveis com OpenAI e Anthropic
- Mais de 200 arquiteturas de modelos, geralmente suportadas no lançamento
- GPUs NVIDIA, AMD e Intel a partir de uma única base de código
O que não é
- A flag --api-key deixa vários endpoints sem autenticação; exige um proxy reverso
- Alterações incompatíveis na maioria dos lançamentos secundários
- Apenas para Linux; sem suporte nativo a Windows, o uso em notebooks é inconveniente
Ideal para
Equipes que disponibilizam modelos abertos para muitos usuários simultâneos em servidores GPU.
Alternativas ao vLLM
vLLM: perguntas frequentes
- vLLM vale a pena?
- Continua sendo o mecanismo ideal para colocar um modelo aberto atrás de uma API multiusuário, desde que alguém na equipe se responsabilize pelas atualizações e pela exposição na rede. Damos nota 4.7 de 5.
- Quanto custa vLLM?
- Gratuito e de código aberto sob a licença Apache 2.0. Você paga pelas GPUs nas quais ele é executado.
- Quais são as desvantagens de vLLM?
- A flag --api-key deixa vários endpoints sem autenticação; exige um proxy reverso; alterações incompatíveis na maioria dos lançamentos secundários; apenas para Linux; sem suporte nativo a Windows, o uso em notebooks é inconveniente.
- Para quem vLLM é indicado?
- Equipes que disponibilizam modelos abertos para muitos usuários simultâneos em servidores GPU.
- Quanto custa vLLM para uma equipe ou em produção?
- Não existe edição paga fornecida pelo projeto. O custo está nas GPUs: na Lambda, uma H100 PCIe custa $3.29 por hora, um nó com 8x H100 SXM custa $3.99 por GPU-hora e uma B200 a partir de $6.69 por GPU-hora, além do tempo de engenharia para ajustes e atualizações.
- vLLM é seguro para dados da empresa?
- Coleta estatísticas anônimas de uso sobre hardware e configuração do modelo por padrão; defina VLLM_NO_USAGE_STATS=1 ou DO_NOT_TRACK=1 para desativar o envio. Os prompts permanecem nos seus servidores, mas a chave de API não protege todas as rotas, e 86 alertas de segurança foram publicados no GitHub em 2026, incluindo uma falha crítica de contorno de autenticação.
- Quais são as melhores alternativas ao vLLM?
- As alternativas mais próximas que analisamos são SGLang, TensorRT-LLM e llama.cpp.
Respostas verificadas em 26 de out. de 2026.