¿Qué es Agent Lightning?
Agent Lightning entrena con aprendizaje por refuerzo el modelo que hay detrás de un agente mientras el agente conserva sus propias herramientas, prompts y flujo de control. Apuntas la base URL compatible con OpenAI del agente al gateway de Agent Lightning; el gateway reenvía cada llamada a un servidor vLLM y registra los ids de tokens del prompt y de la respuesta y sus log probabilities. El agente informa de una recompensa al final de cada ejecución, y un entrenador basado en verl convierte esas ejecuciones registradas en actualizaciones de la política, con GRPO entre los algoritmos admitidos.
La versión 1.0, publicada en agosto de 2026 con un informe técnico, fue una reescritura completa en tres partes: el gateway, un controlador de rollouts que lanza los agentes como procesos locales o Jobs de Kubernetes, y el entrenador. El proyecto es Python con licencia MIT, tiene unas 18.900 estrellas en GitHub y publicó la 1.0.3 el 3 de noviembre de 2026. El README afirma unas 3.500 líneas de código. Su ejemplo principal lleva a Qwen3.5-9B del 41,8% al 56,4% en SWE-bench Verified con 6K muestras de entrenamiento, y un ejemplo con mezcla de expertos lleva a Qwen3.5-35B-A3B del 47,8% al 61,6% con 1,8K; ambas son cifras propias de Microsoft con 4× GPU B200.
¿Merece la pena Agent Lightning?
La mayoría de los frameworks de RL para agentes te piden reconstruir el agente dentro de su bucle, lo que significa que el agente que entrenas no es exactamente el que lanzas. El diseño de proxy de Agent Lightning lo evita: cualquier cosa que hable con un endpoint compatible con OpenAI se puede entrenar tal cual, y como el gateway registra los ids de tokens en origen, esquiva la deriva por retokenización sobre la que el equipo escribió con el proyecto vLLM en 2025. Los ejemplos cubren matemáticas con AutoGen y herramientas MCP, búsqueda, un agente general en sandbox y un agente de programación entrenado con los tests de un repositorio.
Los resultados publicados en programación son fuertes para modelos pequeños: 14,6 puntos en SWE-bench Verified para un modelo de 9B es una mejora real si se reproduce. Pero son cifras de los propios autores, y no encontramos ninguna réplica independiente. Las notas de versión muestran una ingeniería constante: la 1.0.3 añade rollouts en INT8 y corrige errores de precisión en las recompensas.
La pega: el código es ligero, pero la pila no. Necesita CUDA 12.9 o 13.0, una combinación fijada de verl, vLLM y torch y una compilación de flash-attention que según la documentación tarda de 10 a 30 minutos. El inicio rápido pide una A100, el modo Minikube al menos 64 GB de memoria y los ejemplos de programación 4× B200 más una segunda máquina para Kubernetes. Por defecto, las ejecuciones suben registros y trayectorias a Weights & Biases. El gateway escucha en todas las interfaces y su clave bearer está vacía por defecto, lo que desactiva la autenticación con solo un aviso, así que define una antes de usarlo en una red compartida. La versión 1.0 además sustituyó la API anterior, de modo que los tutoriales de 2025 describen otro framework.
Nuestra opinión: Agent Lightning es un banco de entrenamiento, no una biblioteca que se añade un viernes por la tarde. Compensa cuando ya tienes un agente, una recompensa de fiar y GPU de sobra; sin eso, primero van el ajuste de prompts y las evaluaciones.
Dónde se gana su sitio
Un equipo de ML aplicado que usa un agente de programación interno sobre un modelo abierto
Subir su tasa de aciertos en los tests de nuestros propios repositorios
Empaquetar los repositorios como imágenes, dejar que el controlador ejecute cada intento como un Job de Kubernetes que pasa los tests e informa de una recompensa, y entrenar con la receta del agente de programación. La ejecución de referencia de Microsoft usó 4× GPU B200.
Una investigadora con una A100
Probar RL de agentes con un modelo pequeño antes de pedir un clúster
Ejecutar el ejemplo Calc-X, que entrena Qwen2.5-1.5B-Instruct con AutoGen y una calculadora MCP mediante el controlador local, y seguir la curva de recompensa en Weights & Biases.
Una start-up con un agente de búsqueda creado sobre un framework de agentes
Entrenar el modelo en nuestra propia tarea sin reescribir el agente
Apuntar la base URL del modelo del agente a la ruta de rollout del gateway, añadir un informe de recompensa al final de cada ejecución y dejar que el entrenador recoja rollouts y actualice un modelo autoalojado.
Antes de decidirte
- Puesta en marcha
- Clona el repositorio, `uv sync` y después `scripts/setup_verl.sh 0.8.0 cu130` para instalar la pila fijada de verl, vLLM y torch y compilar flash-attention (de 10 a 30 minutos); inicia sesión en Weights & Biases antes de la primera ejecución.
- Integraciones
- verl y vLLM para entrenamiento e inferencia, Megatron para el ejemplo MoE, Kubernetes o procesos locales para los rollouts, Weights & Biases para los registros y cualquier agente que llame a una API compatible con OpenAI, como AutoGen.
- Datos y privacidad
- Autoalojado; el gateway guarda prompts, respuestas y recompensas, que por defecto se suben a Weights & Biases. El gateway escucha en 0.0.0.0 y su clave está vacía por defecto, lo que desactiva la autenticación. Licencia MIT.
- Coste a escala
- Software gratuito; el coste es tiempo de GPU, desde una A100 80GB para Calc-X hasta 4× A100 para el ejemplo de sandbox y 4× B200 para los agentes de programación. Los tiempos de ejecución no están publicados para todos los ejemplos.
- Límites
- Solo CUDA 12.9 o 13.0; el runner local no funciona en Windows nativo; el modo Minikube necesita al menos 64 GB de memoria; unas 116 issues abiertas en la última revisión.
Lo bueno
- Entrena agentes existentes a través de un proxy compatible con OpenAI, sin reescribirlos
- Registra los ids de tokens en el gateway y evita la deriva por retokenización
- Ejecuta los rollouts como Jobs de Kubernetes sin un servicio de sandbox de pago
- Ejemplos completos, desde matemáticas con una GPU hasta agentes de programación en SWE-bench
Lo malo
- Necesita GPU NVIDIA de centro de datos y una pila CUDA fijada y frágil
- La autenticación del gateway está desactivada si no defines una clave
- Las mejoras en benchmarks son autodeclaradas
- La reescritura 1.0 rompió la API y los tutoriales anteriores
Ideal para
Equipos de ML con GPU y una recompensa medible que quieren ajustar el modelo de un agente que ya usan sin portarlo a un framework de entrenamiento.
Alternativas a Agent Lightning
Agent Lightning: preguntas frecuentes
- ¿Merece la pena Agent Lightning?
- Agent Lightning tiene la idea correcta para el RL de agentes, entrenar a través de un proxy en lugar de reescribir el agente, pero exige una pila de GPU de centro de datos y un equipo capaz de operarla. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta Agent Lightning?
- Gratuito y de código abierto (MIT); entrenar requiere tus propias GPU de NVIDIA, desde una A100 80GB para el ejemplo más pequeño.
- ¿Qué inconvenientes tiene Agent Lightning?
- Necesita GPU NVIDIA de centro de datos y una pila CUDA fijada y frágil; la autenticación del gateway está desactivada si no defines una clave; las mejoras en benchmarks son autodeclaradas; la reescritura 1.0 rompió la API y los tutoriales anteriores.
- ¿Para quién es Agent Lightning?
- Equipos de ML con GPU y una recompensa medible que quieren ajustar el modelo de un agente que ya usan sin portarlo a un framework de entrenamiento.
- ¿Cuánto cuesta Agent Lightning para un equipo o en producción?
- Software gratuito; el coste es tiempo de GPU, desde una A100 80GB para Calc-X hasta 4× A100 para el ejemplo de sandbox y 4× B200 para los agentes de programación. Los tiempos de ejecución no están publicados para todos los ejemplos.
- ¿Es Agent Lightning seguro para los datos de la empresa?
- Autoalojado; el gateway guarda prompts, respuestas y recompensas, que por defecto se suben a Weights & Biases. El gateway escucha en 0.0.0.0 y su clave está vacía por defecto, lo que desactiva la autenticación. Licencia MIT.
- ¿Cuáles son las mejores alternativas a Agent Lightning?
- Las alternativas más cercanas que hemos analizado son TRL, Unsloth y LlamaFactory.
Respuestas comprobadas el 13 nov 2026.