Agent Lightningとは？
Agent Lightning は、エージェントが自前のツール、プロンプト、制御フローを保ったまま、その裏にあるモデルを強化学習で訓練します。エージェントの OpenAI 互換ベース URL を Agent Lightning のゲートウェイに向けると、ゲートウェイは各呼び出しを vLLM サーバーに転送し、プロンプトと応答のトークン id と対数確率を記録します。エージェントは各実行の終わりに報酬を報告し、verl を基盤とするトレーナーが記録された実行をポリシー更新に変えます。対応アルゴリズムには GRPO が含まれます。
2026 年 8 月に技術レポートとともに公開されたバージョン 1.0 は、ゲートウェイ、エージェントをローカルプロセスまたは Kubernetes Job として起動するロールアウトコントローラー、トレーナーの 3 部構成への全面的な書き直しでした。プロジェクトは MIT ライセンスの Python で、GitHub のスターは約 18,900、2026 年 11 月 3 日に 1.0.3 をリリースしました。README はコードを約 3,500 行としています。代表的な例では Qwen3.5-9B を 6K の訓練サンプルで SWE-bench Verified の 41.8% から 56.4% に引き上げ、混合エキスパートの例では Qwen3.5-35B-A3B を 1.8K で 47.8% から 61.6% に引き上げています。いずれも 4× B200 GPU での Microsoft 自身の数字です。
Agent Lightningは使う価値があるか？
エージェント向け RL フレームワークの多くは、そのループの中でエージェントを作り直すことを求めます。すると訓練したエージェントは、出荷するエージェントと微妙に別物になります。Agent Lightning のプロキシ設計はこれを避けます。OpenAI 互換エンドポイントと話すものなら何でもそのまま訓練でき、ゲートウェイが発生元でトークン id を記録するため、チームが 2025 年に vLLM プロジェクトと共同で書いた再トークン化のずれも回避できます。例は、AutoGen と MCP ツールを使う数学、検索、サンドボックス内の汎用エージェント、リポジトリのテストで訓練するコーディングエージェントまで揃っています。
公開されたコーディングの結果は小型モデルとしては強力で、9B モデルで SWE-bench Verified が 14.6 ポイント伸びたのは、再現できれば本物の改善です。ただし著者自身の数字であり、独立した再現は見つかりませんでした。リリースノートからは着実な開発がうかがえ、1.0.3 では INT8 ロールアウトが追加され、報酬の精度に関するバグが修正されました。
注意点：コードは軽量でもスタックは重いです。CUDA 12.9 または 13.0、固定された verl、vLLM、torch の組み合わせ、そしてドキュメントによれば 10 から 30 分かかる flash-attention のビルドが必要です。クイックスタートには A100、Minikube モードには最低 64 GB のメモリ、コーディングの例には 4× B200 と Kubernetes 用の 2 台目のマシンが要ります。実行ログと軌跡はデフォルトで Weights & Biases にアップロードされます。ゲートウェイはすべてのインターフェースで待ち受け、bearer キーはデフォルトで空です。空のままだと警告が出るだけで認証が無効になるため、共有ネットワークで動かす前に必ず設定してください。また 1.0 で以前の API が置き換えられた ため、2025 年のチュートリアルは別のフレームワークを説明しています。
結論：Agent Lightning は金曜の午後に追加するライブラリではなく、訓練用の設備です。すでにエージェントと信頼できる報酬と余った GPU があるなら価値がありますが、それがなければプロンプト調整と評価が先です。
真価を発揮する場面
オープンモデル上で社内コーディングエージェントを運用する応用 ML チーム
自社リポジトリのテストでの合格率を上げたい
リポジトリをイメージとしてパッケージし、コントローラーに各試行をテストを実行して報酬を報告する Kubernetes Job として走らせ、コーディングエージェントのレシピで訓練します。Microsoft の参照実行では 4× B200 GPU を使いました。
A100 を 1 枚持つ研究者
クラスターを申請する前に小型モデルでエージェント RL を試したい
ローカルコントローラーで AutoGen と MCP 電卓を使い Qwen2.5-1.5B-Instruct を訓練する Calc-X の例を実行し、Weights & Biases で報酬曲線を確認します。
エージェントフレームワーク上に検索エージェントを作ったスタートアップ
エージェントを書き直さずに自社タスクでモデルを訓練したい
エージェントのモデルのベース URL をゲートウェイのロールアウト用パスに向け、各実行の終わりに報酬を報告する処理を加え、トレーナーにロールアウトを集めさせて自前ホストのモデルを更新します。
導入前に確認すること
- 導入
- リポジトリをクローンして `uv sync`、続いて `scripts/setup_verl.sh 0.8.0 cu130` で固定された verl、vLLM、torch のスタックを入れ、flash-attention をビルドします（10 から 30 分）。最初の実行前に Weights & Biases にログインします。
- 連携
- 訓練と推論に verl と vLLM、MoE の例に Megatron、ロールアウトに Kubernetes またはローカルプロセス、ログに Weights & Biases。AutoGen など OpenAI 互換 API を呼ぶあらゆるエージェントに対応します。
- データとプライバシー
- 自前ホストです。プロンプト、応答、報酬はゲートウェイに保存され、デフォルトで Weights & Biases にアップロードされます。ゲートウェイは 0.0.0.0 にバインドし、キーはデフォルトで空のため認証が無効です。MIT ライセンス。
- 大規模利用時のコスト
- ソフトウェアは無料です。費用は GPU 時間で、Calc-X には A100 80GB が 1 枚、サンドボックスの例には 4× A100、コーディングエージェントには 4× B200 が必要です。すべての例の実行時間は公開されていません。
- 制限
- CUDA 12.9 または 13.0 のみ。ローカルランナーはネイティブの Windows では非対応。Minikube モードには最低 64 GB のメモリが必要。最終確認時点で未解決の issue は約 116 件。
良い点
- OpenAI 互換プロキシ経由で既存エージェントを書き直さずに訓練できる
- ゲートウェイでトークン id を記録し、再トークン化のずれを避ける
- 有料のサンドボックスサービスなしでロールアウトを Kubernetes Job として実行できる
- GPU 1 枚の数学から SWE-bench のコーディングエージェントまで実例が揃う
気になる点
- NVIDIA のデータセンター級 GPU と、固定された壊れやすい CUDA スタックが必要
- キーを設定しない限りゲートウェイの認証は無効
- ベンチマークの改善は自己申告
- 1.0 の書き直しで以前の API とチュートリアルが使えなくなった
おすすめの人
GPU と測定可能な報酬を持ち、すでに運用しているエージェントのモデルを、訓練フレームワークに移植せずに微調整したい ML チーム。
Agent Lightningの代替
Agent Lightning：よくある質問
- Agent Lightningは使う価値があるか？
- Agent Lightning は、エージェントを書き直すのではなくプロキシ経由で訓練するという、エージェント RL として正しい発想を持っていますが、データセンター級の GPU スタックとそれを運用できるチームを要求します。 評価は5点満点中3.9点です。
- Agent Lightningの料金は？
- 無料のオープンソース（MIT）です。訓練には自前の NVIDIA GPU が必要で、最小の例でも A100 80GB が 1 枚要ります。
- Agent Lightningの欠点は？
- NVIDIA のデータセンター級 GPU と、固定された壊れやすい CUDA スタックが必要; キーを設定しない限りゲートウェイの認証は無効; ベンチマークの改善は自己申告; 1.0 の書き直しで以前の API とチュートリアルが使えなくなった.
- Agent Lightningは誰に向いているか？
- GPU と測定可能な報酬を持ち、すでに運用しているエージェントのモデルを、訓 練フレームワークに移植せずに微調整したい ML チーム。
- チームや本番環境でAgent Lightningを使うと費用はいくらか？
- ソフトウェアは無料です。費用は GPU 時間で、Calc-X には A100 80GB が 1 枚、サンドボックスの例には 4× A100、コーディングエージェントには 4× B200 が必要です。すべての例の実行時間は公開されていません。
- Agent Lightningは企業データを扱っても安全か？
- 自前ホストです。プロンプト、応答、報酬はゲートウェイに保存され、デフォルトで Weights & Biases にアップロードされます。ゲートウェイは 0.0.0.0 にバインドし、キーはデフォルトで空のため認証が無効です。MIT ライセンス。
- Agent Lightningの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はTRL, Unsloth 、 LlamaFactoryです。
回答確認日：2026年11月13日