¿Qué es SGLang?
SGLang es un framework para servir modelos de lenguaje, de visión y lenguaje y de difusión, alojado por la organización sin ánimo de lucro LMSYS. Su función más conocida es RadixAttention, que reutiliza trabajo entre peticiones que comparten el mismo comienzo, como un prompt de sistema largo.
Ofrece un servidor compatible con OpenAI, paralelismo en varias GPU y varios nodos, cuantización, decodificación especulativa y salida estructurada. Funciona en GPU NVIDIA desde tarjetas RTX hasta B300 y GB300, AMD Instinct de MI300X a MI355X, TPU de Google y hardware de Intel y Huawei Ascend, y es el motor de rollouts dentro de frameworks de entrenamiento por RL como verl, slime y AReaL.
Sale una versión aproximadamente cada dos semanas; la v0.5.22 se publicó el 19 de octubre de 2026.
¿Merece la pena SGLang?
SGLang es la alternativa más sólida a vLLM para servir cargas con muchos prefijos compartidos, y también la que exige más cuidado en seguridad. Tiene unas 37.700 estrellas en GitHub y publica una versión cada dos semanas más o menos. RadixAttention mantiene un árbol de prefijos de prompt en caché, así que los prompts de sistema repetidos, los ejemplos few-shot y los historiales de varios turnos no se recalculan en cada petición.
Ese diseño encaja con agentes y aprendizaje por refuerzo. Los bucles de agentes reenvían muchas veces el mismo contexto largo, y el entrenamiento por RL genera enormes cantidades de rollouts a partir de prompts compartidos, por eso verl, slime, AReaL y Tunix de Google usan SGLang para la generación. La cobertura de hardware es ya amplia, desde tarjetas RTX de consumo hasta B300, MI355X, TPU v7 y NPU Ascend, y NVIDIA Dynamo, llm-d y Ray Serve pueden orquestarlo.
La seguridad es el punto débil. En 2026 el CERT/CC publicó notas sobre varios fallos de ejecución remota de código, entre ellos CVE-2026-5760, una inyección de plantillas mediante un archivo de modelo GGUF malicioso calificada con 9,8, y en mayo Antiproof reveló tres más (CVE-2026-7301, 7302 y 7304), dos de ellos por deserialización insegura con pickle, y afirmó que los mantenedores no habían respondido y que no existía parche. La base de datos de avisos de GitHub recoge ahora los tres como críticos y con versiones afectadas hasta la 0.5.12, sin nombrar una versión corregida; la versión actual es la v0.5.22, y un cambio fusionado el 6 de octubre fija el socket del planificador multimodal a loopback incluso cuando el servidor se ejecuta en 0.0.0.0. El fallo de plantillas ya se ha corregido en el código, pero los propios ejemplos de despliegue de SGLang escuchan en 0.0.0.0, y el servidor nunca debería quedar expuesto a una red no fiable sin autenticación delante.
Las contrapartidas frente a vLLM son conocidas. El ajuste presupone experiencia sirviendo modelos y el tracker acumula unos 6.000 issues y pull requests abiertos. Lo que ahorra RadixAttention depende de lo largo que sea el prefijo compartido en tu propio tráfico, lo que hace que un benchmark con peticiones reales valga más que cualquier gráfica publicada.
Dónde se gana su sitio
Un ingeniero de plataforma que sirve un modelo abierto a una flota interna de agentes en un nodo H100 de 8 GPU
Reducir la latencia y el coste de GPU cuando cada llamada de agente repite un prompt de sistema y una lista de herramientas largos
Ejecutar la imagen Docker lmsysorg/sglang con el servidor compatible con OpenAI y apuntar los agentes a ella; RadixAttention reutiliza el prefijo compartido entre llamadas. El software es gratuito; el coste es el nodo, que debe estar en una red privada detrás de autenticación.
Un investigador de ML que hace post-entrenamiento por RL con verl o slime
Generar rollouts lo bastante rápido para mantener ocupadas las GPU de entrenamiento
Ambos frameworks usan SGLang como motor de generación, compartiendo prefijos de prompt y actualizando los pesos sobre la marcha entre pasos. Gratuito; los endpoints de actualización de pesos son donde estaban los fallos de deserialización anteriores, así que mantenlos fuera de redes compartidas.
Un responsable de infraestructura en una empresa estandarizada en AMD MI300X
Autoalojar un modelo de chat sin depender de software solo para CUDA
SGLang incluye de MI300X a MI355X entre sus plataformas soportadas, con documentación específica. Sin coste de licencia con Apache 2.0; el soporte enterprise implica contactar con LMSYS, sin precio publicado.
Antes de decidirte
- Puesta en marcha
- docker pull lmsysorg/sglang:latest, o uv pip install sglang en Python 3.11 o posterior, y después lanza el servidor con la ruta de un modelo de Hugging Face; necesita una GPU, TPU o NPU soportada con memoria para los pesos y la caché KV.
- Integraciones
- API compatible con OpenAI; despliegue a través de NVIDIA Dynamo, llm-d y Ray Serve; frameworks de RL verl, slime, AReaL, Tunix y Miles; SpecForge para entrenar modelos borrador de decodificación especulativa.
- Datos y privacidad
- Se ejecuta por completo en tu hardware, sin servicio alojado. Varios CVE de 2026 permiten ejecución remota de código cuando los puertos HTTP o ZMQ son accesibles o se cargan archivos de modelo no fiables, así que escucha en una red privada, añade autenticación y carga modelos solo de fuentes de confianza. Apache 2.0.
- Coste a escala
- El software es gratuito; el coste son los aceleradores dimensionados para los pesos y la caché KV del modelo. LMSYS no vende edición de pago; el soporte enterprise y la consultoría se gestionan a través de sglang@lmsys.org.
- Límites
- Unos 6.000 issues y pull requests abiertos; algunos modelos nuevos llegan antes a vLLM; los avisos de GitHub sobre los tres CVE que Antiproof reveló en mayo de 2026 indican como afectadas las versiones hasta la 0.5.12, pero no nombran ninguna versión corregida.
Lo bueno
- RadixAttention reutiliza los prefijos de prompt compartidos
- Amplio soporte de hardware más allá de NVIDIA
- Motor de rollouts habitual en frameworks de RL
- Servidor compatible con OpenAI
Lo malo
- Varios CVE críticos en 2026 y respuestas lentas a las revelaciones
- Ecosistema más pequeño que el de vLLM
- El ajuste presupone experiencia sirviendo modelos
- Unos 6.000 issues y pull requests abiertos
Ideal para
Equipos que sirven modelos abiertos con mucha reutilización de prompts, como agentes y chat de varios turnos.
Alternativas a SGLang
SGLang: preguntas frecuentes
- ¿Merece la pena SGLang?
- SGLang está hecho para las cargas de agentes y RL que reenvían los mismos prompts largos, y su sitio es detrás de una red bien cerrada. Le damos un 4.4 sobre 5.
- ¿Cuánto cuesta SGLang?
- Gratuito y de código abierto con licencia Apache 2.0.
- ¿Qué inconvenientes tiene SGLang?
- Varios CVE críticos en 2026 y respuestas lentas a las revelaciones; ecosistema más pequeño que el de vLLM; el ajuste presupone experiencia sirviendo modelos; unos 6.000 issues y pull requests abiertos.
- ¿Para quién es SGLang?
- Equipos que sirven modelos abiertos con mucha reutilización de prompts, como agentes y chat de varios turnos.
- ¿Cuánto cuesta SGLang para un equipo o en producción?
- El software es gratuito; el coste son los aceleradores dimensionados para los pesos y la caché KV del modelo. LMSYS no vende edición de pago; el soporte enterprise y la consultoría se gestionan a través de sglang@lmsys.org.
- ¿Es SGLang seguro para los datos de la empresa?
- Se ejecuta por completo en tu hardware, sin servicio alojado. Varios CVE de 2026 permiten ejecución remota de código cuando los puertos HTTP o ZMQ son accesibles o se cargan archivos de modelo no fiables, así que escucha en una red privada, añade autenticación y carga modelos solo de fuentes de confianza. Apache 2.0.
- ¿Cuáles son las mejores alternativas a SGLang?
- Las alternativas más cercanas que hemos analizado son vLLM y TensorRT-LLM.
Respuestas comprobadas el 26 oct 2026.