O que é SGLang?
SGLang é um framework para servir modelos de linguagem, de visão e linguagem e de difusão, mantido pela organização sem fins lucrativos LMSYS. Seu recurso mais conhecido é o RadixAttention, que reaproveita trabalho entre requisições que começam do mesmo jeito, como um prompt de sistema longo.
Ele oferece um servidor compatível com OpenAI, paralelismo em várias GPUs e vários nós, quantização, decodificação especulativa e saída estruturada. Roda em GPUs NVIDIA de placas RTX até B300 e GB300, AMD Instinct de MI300X a MI355X, TPUs do Google e hardware Intel e Huawei Ascend, e é o motor de rollouts dentro de frameworks de treinamento por RL como verl, slime e AReaL.
Sai uma versão mais ou menos a cada duas semanas; a v0.5.22 foi publicada em 19 de outubro de 2026.
SGLang vale a pena?
O SGLang é a alternativa mais forte ao vLLM para servir cargas com muitos prefixos compartilhados, e também a que exige mais cuidado com segurança. Tem cerca de 37.700 estrelas no GitHub e lança uma versão a cada duas semanas, mais ou menos. O RadixAttention mantém uma árvore de prefixos de prompt em cache, então prompts de sistema repetidos, exemplos few-shot e históricos de vários turnos não são recalculados a cada requisição.
Esse design combina com agentes e aprendizado por reforço. Loops de agentes reenviam o mesmo contexto longo muitas vezes, e o treinamento por RL gera enormes quantidades de rollouts a partir de prompts compartilhados, por isso verl, slime, AReaL e o Tunix do Google usam o SGLang para a geração. A cobertura de hardware já é ampla, de placas RTX de consumo a B300, MI355X, TPU v7 e NPUs Ascend, e NVIDIA Dynamo, llm-d e Ray Serve podem orquestrá-lo.
A segurança é o ponto fraco. Em 2026 o CERT/CC publicou notas sobre várias falhas de execução remota de código, entre elas a CVE-2026-5760, uma injeção de template por meio de um arquivo de modelo GGUF malicioso com nota 9,8, e em maio a Antiproof revelou mais três (CVE-2026-7301, 7302 e 7304), duas envolvendo desserialização insegura com pickle, dizendo que os mantenedores não tinham respondido e que não havia patch. O banco de avisos do GitHub agora lista as três como críticas e afetando versões até a 0.5.12, sem indicar uma versão corrigida; a versão atual é a v0.5.22, e uma mudança mesclada em 6 de outubro fixa o socket do agendador multimodal em loopback mesmo quando o servidor roda em 0.0.0.0. A falha de template já foi corrigida no código, mas os próprios exemplos de serving do SGLang escutam em 0.0.0.0, e o servidor nunca deve ficar exposto a uma rede não confiável sem autenticação na frente.
As concessões em relação ao vLLM são conhecidas. O ajuste pressupõe experiência em servir modelos, e o tracker acumula cerca de 6.000 issues e pull requests abertos. Quanto o RadixAttention economiza depende do tamanho do prefixo compartilhado no seu próprio tráfego, o que faz um benchmark com requisições reais valer mais do que qualquer gráfico publicado.
Onde ele se destaca
Um engenheiro de plataforma que serve um modelo aberto para uma frota interna de agentes em um nó H100 com 8 GPUs
Reduzir a latência e o custo de GPU quando cada chamada de agente repete um prompt de sistema e uma lista de ferramentas longos
Rodar a imagem Docker lmsysorg/sglang com o servidor compatível com OpenAI e apontar os agentes para ela; o RadixAttention reaproveita o prefixo compartilhado entre chamadas. O software é gratuito; o custo é o nó, que precisa ficar em uma rede privada atrás de autenticação.
Um pesquisador de ML que faz pós-treinamento por RL com verl ou slime
Gerar rollouts rápido o bastante para manter ocupadas as GPUs de treinamento
Os dois frameworks usam o SGLang como motor de geração, compartilhando prefixos de prompt e atualizando os pesos no próprio lugar entre os passos. Gratuito; os endpoints de atualização de pesos são onde ficavam as falhas de desserialização anteriores, então mantenha-os fora de redes compartilhadas.
Um líder de infraestrutura em uma empresa padronizada em AMD MI300X
Hospedar por conta própria um modelo de chat sem depender de software só para CUDA
O SGLang lista de MI300X a MI355X entre as plataformas suportadas, com documentação dedicada. Sem taxa de licença sob Apache 2.0; suporte enterprise significa entrar em contato com a LMSYS, sem preço publicado.
Antes de decidir
- Configuração
- docker pull lmsysorg/sglang:latest, ou uv pip install sglang no Python 3.11 ou posterior, e depois inicie o servidor com o caminho de um modelo do Hugging Face; precisa de uma GPU, TPU ou NPU suportada com memória para os pesos e o cache KV.
- Integrações
- API compatível com OpenAI; implantação via NVIDIA Dynamo, llm-d e Ray Serve; frameworks de RL verl, slime, AReaL, Tunix e Miles; SpecForge para treinar modelos rascunho de decodificação especulativa.
- Dados e privacidade
- Roda inteiramente no seu hardware, sem serviço hospedado. Várias CVEs de 2026 permitem execução remota de código quando as portas HTTP ou ZMQ estão acessíveis ou quando arquivos de modelo não confiáveis são carregados, então escute em uma rede privada, adicione autenticação e carregue modelos só de fontes confiáveis. Apache 2.0.
- Custo em escala
- O software é gratuito; o custo são aceleradores dimensionados para os pesos e o cache KV do modelo. A LMSYS não vende edição paga; suporte enterprise e consultoria são combinados por sglang@lmsys.org.
- Limites
- Cerca de 6.000 issues e pull requests abertos; alguns modelos novos chegam antes ao vLLM; os avisos do GitHub sobre as três CVEs que a Antiproof revelou em maio de 2026 listam como afetadas as versões até a 0.5.12, mas não indicam nenhuma versão corrigida.
O que é bom
- RadixAttention reaproveita prefixos de prompt compartilhados
- Amplo suporte de hardware além da NVIDIA
- Motor de rollouts comum em frameworks de RL
- Servidor compatível com OpenAI
O que não é
- Várias CVEs críticas em 2026 e respostas lentas às divulgações
- Ecossistema menor que o do vLLM
- O ajuste pressupõe experiência em servir modelos
- Cerca de 6.000 issues e pull requests abertos
Ideal para
Equipes que servem modelos abertos com muito reaproveitamento de prompts, como agentes e chat de vários turnos.
Alternativas ao SGLang
SGLang: perguntas frequentes
- SGLang vale a pena?
- O SGLang foi feito para as cargas de agentes e RL que reenviam os mesmos prompts longos, e o lugar dele é atrás de uma rede bem fechada. Damos nota 4.4 de 5.
- Quanto custa SGLang?
- Gratuito e de código aberto sob a licença Apache 2.0.
- Quais são as desvantagens de SGLang?
- Várias CVEs críticas em 2026 e respostas lentas às divulgações; ecossistema menor que o do vLLM; o ajuste pressupõe experiência em servir modelos; cerca de 6.000 issues e pull requests abertos.
- Para quem SGLang é indicado?
- Equipes que servem modelos abertos com muito reaproveitamento de prompts, como agentes e chat de vários turnos.
- Quanto custa SGLang para uma equipe ou em produção?
- O software é gratuito; o custo são aceleradores dimensionados para os pesos e o cache KV do modelo. A LMSYS não vende edição paga; suporte enterprise e consultoria são combinados por sglang@lmsys.org.
- SGLang é seguro para dados da empresa?
- Roda inteiramente no seu hardware, sem serviço hospedado. Várias CVEs de 2026 permitem execução remota de código quando as portas HTTP ou ZMQ estão acessíveis ou quando arquivos de modelo não confiáveis são carregados, então escute em uma rede privada, adicione autenticação e carregue modelos só de fontes confiáveis. Apache 2.0.
- Quais são as melhores alternativas ao SGLang?
- As alternativas mais próximas que analisamos são vLLM e TensorRT-LLM.
Respostas verificadas em 26 de out. de 2026.