Agent Lightning의 개요
Agent Lightning은 에이전트가 자체 도구, 프롬프트, 제어 흐름을 그대로 유지하는 동안 그 뒤에 있는 모델을 강화학습으로 훈련합니다. 에이전트의 OpenAI 호환 base URL을 Agent Lightning 게이트웨이로 돌리면, 게이트웨이가 각 호출을 vLLM 서버로 전달하고 프롬프트와 응답의 토큰 id, 로그 확률을 기록합니다. 에이전트는 각 실행이 끝날 때 보상을 보고하고, verl 기반 트레이너가 기록된 실행을 정책 업데이트로 바꿉니다. 지원 알고리즘에는 GRPO가 포함됩니다.
2026년 8월 기술 보고서와 함께 공개된 1.0 버전은 게이트웨이, 에이전트를 로컬 프로세스나 Kubernetes Job으로 띄우는 롤아웃 컨트롤러, 트레이너의 세 부분으로 완전히 다시 작성되었습니다. 프로젝트는 MIT 라이선스의 Python이며 GitHub 스타는 약 18,900개이고, 2026년 11월 3일 1.0.3을 내놓았습니다. README는 코드가 약 3,500줄이라고 밝힙니다. 대표 예제는 Qwen3.5-9B를 훈련 샘플 6K로 SWE-bench Verified 41.8%에서 56.4%로 끌어올리고, 전문가 혼합 예제는 Qwen3.5-35B-A3B를 1.8K로 47.8%에서 61.6%로 끌어올립니다. 둘 다 4× B200 GPU에서 얻은 Microsoft 자체 수치입니다.
Agent Lightning, 쓸 만한 가치가 있습니까?
에이전트용 RL 프레임워크 대부분은 그들의 루프 안에서 에이전트를 다시 만들라고 요구하고, 그러면 훈련한 에이전트는 실제로 배포하는 에이전트와 조금 다른 것이 됩니다. Agent Lightning의 프록시 설계는 이를 피합니다. OpenAI 호환 엔드포인트와 통신하는 것이라면 무엇이든 그대로 훈련할 수 있고, 게이트웨이가 출처에서 토큰 id를 기록하므로 팀이 2025년 vLLM 프로젝트와 함께 글로 다룬 재토큰화 드리프트도 피합니다. 예제는 AutoGen과 MCP 도구를 쓰는 수학, 검색, 샌드박스 안의 범용 에이전트, 저장소 테스트로 훈련하는 코딩 에이전트까지 다룹니다.
공개된 코딩 결과는 소형 모델치고 강력합니다. 9B 모델로 SWE-bench Verified 14.6포인트 상승은 재현된다면 진짜 개선입니다. 하지만 저자 자신의 수치이며 독립적인 재현은 찾지 못했습니다. 릴리스 노트는 꾸준한 엔지니어링을 보여 주며, 1.0.3은 INT8 롤아웃을 추가하고 보상 정밀도 버그를 고쳤습니다.
주의할 점: 코드는 가볍지만 스택은 그렇지 않습니다. CUDA 12.9 또는 13.0, 고정된 verl, vLLM, torch 조합, 그리고 문서상 10에서 30분이 걸리는 flash-attention 빌드가 필요합니다. 빠른 시작에는 A100, Minikube 모드에는 최소 64 GB 메모리, 코딩 예제에는 4× B200과 Kubernetes용 두 번째 머신이 필요합니다. 실행 로그와 궤적은 기본값으로 Weights & Biases에 업로드됩니다. 게이트웨이는 모든 인터페이스에서 수신하고 bearer 키가 기본값으로 비어 있어 경고만 남긴 채 인증이 꺼지므로, 공유 네트워크에서 돌리기 전에 키를 설정하십시오. 또한 1.0이 이전 API를 대체했기 때문에 2025년 튜토리얼은 다른 프레임워크를 설명합니다.
결론: Agent Lightning은 금요일 오후에 붙이는 라이브러리가 아니라 훈련 설비입니다. 이미 에이전트와 믿을 만한 보상, 여유 GPU가 있다면 가치가 있지만, 그렇지 않다면 프롬프트 조정과 평가가 먼저입니다.
제 역할을 하는 곳
오픈 모델 위에서 사내 코딩 에이전트를 운영하는 응용 ML 팀
우리 저장소 테스트에서 통과율 높이기
저장소를 이미지로 패키징하고, 컨트롤러가 각 시도를 테스트를 실행해 보상을 보고하는 Kubernetes Job으로 돌리게 한 뒤 코딩 에이전트 레시피로 훈련합니다. Microsoft의 기준 실행은 4× B200 GPU를 사용했습니다.
A100 한 장을 가진 연구자
클러스터를 요청하기 전에 소형 모델로 에이전트 RL 시험하기
로컬 컨트롤러로 AutoGen과 MCP 계산기를 써서 Qwen2.5-1.5B-Instruct를 훈련하는 Calc-X 예제를 실행하고 Weights & Biases에서 보상 곡선을 확인합니다.
에이전트 프레임워크로 검색 에이전트를 만든 스타트업
에이전트를 다시 쓰지 않고 우리 작업으로 모델 훈련하기
에이전트의 모델 base URL을 게이트웨이의 롤아웃 경로로 돌리고, 각 실행 끝에 보상 보고를 추가한 뒤 트레이너가 롤아웃을 모아 자체 호스팅 모델을 업데이트하게 합니다.
도입 전 확인할 점
- 설정
- 저장소를 클론하고 `uv sync`, 이어서 `scripts/setup_verl.sh 0.8.0 cu130`으로 고정된 verl, vLLM, torch 스택을 설치하고 flash-attention을 빌드합니다(10에서 30분). 첫 실행 전에 Weights & Biases에 로그인합니다.
- 연동
- 훈련과 추론에 verl과 vLLM, MoE 예제에 Megatron, 롤아웃에 Kubernetes 또는 로컬 프로세스, 로그에 Weights & Biases. AutoGen처럼 OpenAI 호환 API를 호출하는 모든 에이전트와 연결됩니다.
- 데이터와 개인정보
- 자체 호스팅입니다. 프롬프트, 응답, 보상은 게이트웨이에 저장되고 기본값으로 Weights & Biases에 업로드됩니다. 게이트웨이는 0.0.0.0에 바인딩되고 키가 기본값으로 비어 있어 인증이 꺼집니다. MIT 라이선스.
- 대규모 사용 시 비용
- 소프트웨어는 무료입니다. 비용은 GPU 시간으로, Calc-X는 A100 80GB 한 장, 샌드박스 예제는 4× A100, 코딩 에이전트는 4× B200이 필요합니다. 모든 예제의 실행 시간이 공개되지는 않았습니다.
- 제한
- CUDA 12.9 또는 13.0만 지원. 로컬 러너는 네이티브 Windows에서 미지원. Minikube 모드는 최소 64 GB 메모리 필요. 마지막 확인 시 열린 이슈 약 116개.
좋은 점
- OpenAI 호환 프록시로 기존 에이전트를 다시 쓰지 않고 훈련
- 게이트웨이에서 토큰 id를 기록해 재토큰화 드리프트를 피함
- 유료 샌드박스 서비스 없이 롤아웃을 Kubernetes Job으로 실행
- GPU 한 장의 수학부터 SWE-bench 코딩 에이전트까지 완성된 예제
아쉬운 점
- NVIDIA 데이터센터급 GPU와 고정되어 깨지기 쉬운 CUDA 스택이 필요
- 키를 설정하지 않으면 게이트웨이 인증이 꺼져 있음
- 벤치마크 향상은 자체 보고 수치
- 1.0 재작성으로 이전 API와 튜토리얼이 맞지 않게 됨
추천 대상
GPU와 측정 가능한 보상을 갖추고, 이미 운영 중인 에이전트의 모델을 훈련 프레임워크로 옮기지 않고 미세 조정하려는 ML 팀.
Agent Lightning 대안
Agent Lightning: 자주 묻는 질문
- Agent Lightning, 쓸 만한 가치가 있습니까?
- Agent Lightning은 에이전트를 다시 쓰는 대신 프록시로 훈련한다는 에이전트 RL의 올바른 발상을 갖췄지만, 데이터센터급 GPU 스택과 이를 운영할 팀을 요구합니다. 평점은 5점 만점에 3.9점입니다.
- Agent Lightning의 가격은 얼마입니까?
- 무료 오픈 소스(MIT)입니다. 훈련에는 자체 NVIDIA GPU가 필요하며, 가장 작은 예제도 A100 80GB 한 장이 필요합니다.
- Agent Lightning의 단점은 무엇입니까?
- NVIDIA 데이터센터급 GPU와 고정되어 깨지기 쉬운 CUDA 스택이 필요; 키를 설정하지 않으면 게이트웨이 인증이 꺼져 있음; 벤치마크 향상은 자체 보고 수치; 1.0 재 작성으로 이전 API와 튜토리얼이 맞지 않게 됨.
- Agent Lightning에 적합한 사람은 누구입니까?
- GPU와 측정 가능한 보상을 갖추고, 이미 운영 중인 에이전트의 모델을 훈련 프레임워크로 옮기지 않고 미세 조정하려는 ML 팀.
- 팀이나 프로덕션 환경에서 Agent Lightning의 비용은 얼마입니까?
- 소프트웨어는 무료입니다. 비용은 GPU 시간으로, Calc-X는 A100 80GB 한 장, 샌드박스 예제는 4× A100, 코딩 에이전트는 4× B200이 필요합니다. 모든 예제의 실행 시간이 공개되지는 않았습니다.
- Agent Lightning에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅입니다. 프롬프트, 응답, 보상은 게이트웨이에 저장되고 기본값으로 Weights & Biases에 업로드됩니다. 게이트웨이는 0.0.0.0에 바인딩되고 키가 기본값으로 비어 있어 인증이 꺼집니다. MIT 라이선스.
- Agent Lightning의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 TRL, Unsloth 및 LlamaFactory입니다.
답변 확인일: 2026년 11월 13일.