Qu’est-ce que Agent Lightning ?
Agent Lightning entraîne par apprentissage par renforcement le modèle qui se trouve derrière un agent, tandis que l'agent garde ses propres outils, prompts et flux de contrôle. Vous pointez la base URL compatible OpenAI de l'agent vers la passerelle Agent Lightning ; celle-ci transmet chaque appel à un serveur vLLM et enregistre les ids de tokens du prompt et de la réponse ainsi que les log-probabilités. L'agent signale une récompense à la fin de chaque exécution, et un entraîneur bâti sur verl transforme ces exécutions enregistrées en mises à jour de la politique, GRPO figurant parmi les algorithmes pris en charge.
La version 1.0, publiée en août 2026 avec un rapport technique, a été une réécriture complète en trois parties : la passerelle, un contrôleur de rollouts qui lance les agents comme processus locaux ou Jobs Kubernetes, et l'entraîneur. Le projet est du Python sous licence MIT, compte environ 18 900 étoiles sur GitHub et a publié la 1.0.3 le 3 novembre 2026. Le README revendique environ 3 500 lignes de code. Son exemple phare fait passer Qwen3.5-9B de 41,8 % à 56,4 % sur SWE-bench Verified avec 6K exemples d'entraînement, et un exemple à mélange d'experts fait passer Qwen3.5-35B-A3B de 47,8 % à 61,6 % avec 1,8K ; ce sont dans les deux cas les chiffres de Microsoft, sur 4× GPU B200.
Agent Lightning vaut-il le coup ?
La plupart des frameworks de RL pour agents vous demandent de reconstruire votre agent dans leur boucle, si bien que l'agent entraîné n'est pas tout à fait celui que vous livrez. La conception en proxy d'Agent Lightning évite cela : tout ce qui parle à un endpoint compatible OpenAI peut être entraîné tel quel, et comme la passerelle enregistre les ids de tokens à la source, elle contourne la dérive de retokenisation sur laquelle l'équipe a écrit avec le projet vLLM en 2025. Les exemples couvrent les mathématiques avec AutoGen et des outils MCP, la recherche, un agent généraliste en sandbox et un agent de code entraîné sur les tests d'un dépôt.
Les résultats publiés en code sont solides pour de petits modèles : 14,6 points sur SWE-bench Verified pour un modèle de 9B est un vrai gain s'il se reproduit. Ce sont toutefois les chiffres des auteurs eux-mêmes, et nous n'avons trouvé aucune réplication indépendante. Les notes de version montrent un travail d'ingénierie régulier : la 1.0.3 ajoute des rollouts INT8 et corrige des bugs de précision sur les récompenses.
Le hic : le code est léger, la pile ne l'est pas. Il faut CUDA 12.9 ou 13.0, une combinaison figée de verl, vLLM et torch, et une compilation de flash-attention qui prend selon la documentation de 10 à 30 minutes. Le démarrage rapide demande une A100, le mode Minikube au moins 64 Go de mémoire, et les exemples de code 4× B200 plus une seconde machine pour Kubernetes. Par défaut, les exécutions envoient journaux et trajectoires vers Weights & Biases. La passerelle écoute sur toutes les interfaces et sa clé bearer est vide par défaut, ce qui désactive l'authentification avec un simple avertissement ; définissez-en une avant de l'utiliser sur un réseau partagé. La version 1.0 a en outre remplacé l'ancienne API, donc les tutoriels de 2025 décrivent un autre framework.
Notre avis : Agent Lightning est un banc d'entraînement, pas une bibliothèque qu'on ajoute un vendredi après-midi. Il en vaut la peine quand vous avez déjà un agent, une récompense fiable et des GPU disponibles ; sans cela, l'ajustement des prompts et les évaluations passent d'abord.
Là où il fait la différence
Une équipe de ML appliqué qui fait tourner un agent de code interne sur un modèle ouvert
Améliorer son taux de réussite sur les tests de nos propres dépôts
Empaqueter les dépôts en images, laisser le contrôleur exécuter chaque tentative comme un Job Kubernetes qui lance les tests et signale une récompense, puis entraîner avec la recette de l'agent de code. L'exécution de référence de Microsoft utilisait 4× GPU B200.
Une chercheuse disposant d'une A100
Essayer le RL d'agents sur un petit modèle avant de demander un cluster
Lancer l'exemple Calc-X, qui entraîne Qwen2.5-1.5B-Instruct avec AutoGen et une calculatrice MCP via le contrôleur local, et suivre la courbe de récompense dans Weights & Biases.
Une start-up avec un agent de recherche bâti sur un framework d'agents
Entraîner le modèle sur notre propre tâche sans réécrire l'agent
Pointer la base URL du modèle de l'agent vers le chemin de rollout de la passerelle, ajouter un signalement de récompense à la fin de chaque exécution et laisser l'entraîneur collecter les rollouts et mettre à jour un modèle auto-hébergé.
Avant de vous engager
- Mise en route
- Clonez le dépôt, `uv sync`, puis `scripts/setup_verl.sh 0.8.0 cu130` pour installer la pile figée verl, vLLM et torch et compiler flash-attention (de 10 à 30 minutes) ; connectez-vous à Weights & Biases avant la première exécution.
- Intégrations
- verl et vLLM pour l'entraînement et l'inférence, Megatron pour l'exemple MoE, Kubernetes ou des processus locaux pour les rollouts, Weights & Biases pour les journaux, et tout agent qui appelle une API compatible OpenAI, comme AutoGen.
- Données et confidentialité
- Auto-hébergé ; prompts, réponses et récompenses sont stockés par la passerelle et envoyés par défaut vers Weights & Biases. La passerelle écoute sur 0.0.0.0 et sa clé est vide par défaut, ce qui désactive l'authentification. Licence MIT.
- Coût à grande échelle
- Logiciel gratuit ; le coût est le temps GPU, d'une A100 80GB pour Calc-X à 4× A100 pour l'exemple sandbox et 4× B200 pour les agents de code. Les durées d'exécution ne sont pas publiées pour tous les exemples.
- Limites
- CUDA 12.9 ou 13.0 uniquement ; le runner local n'est pas pris en charge sous Windows natif ; le mode Minikube exige au moins 64 Go de mémoire ; environ 116 issues ouvertes au dernier contrôle.
Les points forts
- Entraîne des agents existants via un proxy compatible OpenAI, sans réécriture
- Enregistre les ids de tokens à la passerelle, ce qui évite la dérive de retokenisation
- Exécute les rollouts comme Jobs Kubernetes, sans service de sandbox payant
- Exemples complets, des maths sur une GPU aux agents de code sur SWE-bench
Les points faibles
- Exige des GPU NVIDIA de centre de données et une pile CUDA figée et fragile
- L'authentification de la passerelle est coupée tant qu'aucune clé n'est définie
- Les gains sur benchmarks sont autodéclarés
- La réécriture 1.0 a cassé l'API et les tutoriels antérieurs
Idéal pour
Les équipes ML dotées de GPU et d'une récompense mesurable qui veulent affiner le modèle d'un agent déjà en service sans le porter vers un framework d'entraînement.
Alternatives à Agent Lightning
Agent Lightning : questions fréquentes
- Agent Lightning vaut-il le coup ?
- Agent Lightning a la bonne idée pour le RL d'agents, entraîner via un proxy plutôt que réécrire l'agent, mais il réclame une pile GPU de centre de données et une équipe capable de la faire tourner. Nous lui donnons 3.9 sur 5.
- Combien coûte Agent Lightning ?
- Gratuit et open source (MIT) ; l'entraînement exige vos propres GPU NVIDIA, à partir d'une A100 80GB pour le plus petit exemple.
- Quels sont les inconvénients de Agent Lightning ?
- Exige des GPU NVIDIA de centre de données et une pile CUDA figée et fragile; l'authentification de la passerelle est coupée tant qu'aucune clé n'est définie; les gains sur benchmarks sont autodéclarés; la réécriture 1.0 a cassé l'API et les tutoriels antérieurs.
- À qui s’adresse Agent Lightning ?
- Les équipes ML dotées de GPU et d'une récompense mesurable qui veulent affiner le modèle d'un agent déjà en service sans le porter vers un framework d'entraînement.
- Combien coûte Agent Lightning pour une équipe ou en production ?
- Logiciel gratuit ; le coût est le temps GPU, d'une A100 80GB pour Calc-X à 4× A100 pour l'exemple sandbox et 4× B200 pour les agents de code. Les durées d'exécution ne sont pas publiées pour tous les exemples.
- Agent Lightning est-il sûr pour les données de l’entreprise ?
- Auto-hébergé ; prompts, réponses et récompenses sont stockés par la passerelle et envoyés par défaut vers Weights & Biases. La passerelle écoute sur 0.0.0.0 et sa clé est vide par défaut, ce qui désactive l'authentification. Licence MIT.
- Quelles sont les meilleures alternatives à Agent Lightning ?
- Les alternatives les plus proches que nous avons testées sont TRL, Unsloth et LlamaFactory.
Réponses vérifiées le 13 nov. 2026.