연속 배칭
연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.
다른 이름: iteration-level scheduling, in-flight batching, dynamic batching
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
GPU는 많은 요청을 한꺼번에 처리할 때 가장 효율적입니다. 이를 위한 단순한 방법인 정적 배칭은 요청을 한 묶음 모아 함께 실행하고, 모두 끝나면 돌려줍니다. 언어 모델에서는 낭비가 큽니다. 어떤 요청은 한 줄짜리 답이, 다른 요청은 긴 글이 필요할 수 있으므로, 짧은 요청은 끝났는데도 반환되지 못한 채 기다리고, 새로 들어온 요청은 배치가 빌 때까지 기다립니다.
작동 방식
생성은 단계마다 토큰 하나씩 이루어집니다. Orca 논문(OSDI 2022)은 요청 전체가 아니라 이 단계 수준에서 스케줄링하자고 제안했습니다. 각 단계가 끝나면 서버는 완료된 요청을 돌려주고 대기 중인 요청을 빈자리에 넣습니다. 배치는 항상 진행 중인 작업으로 차 있습니다.
이 기법은 이제 표준입니다. vLLM은 들어오는 요청의 연속 배칭을 핵심 기능으로 꼽으며, SGLang, TensorRT-LLM(in-flight batching이라고 부릅니다), Hugging Face TGI도 이를 지원합니다.
왜 중요한가
모델을 직접 호스팅하는 사람에게, 현대 모델 서빙 서버가 `generate()`를 단순히 반복 호출하는 방식보다 GPU당 훨씬 많은 사용자를 처리하는 이유의 상당 부분이 연속 배칭입니다. 단계마다 요청을 넣고 빼려면 유연한 KV 캐시 메모리가 필요하므로 PagedAttention과 함께 쓸 때 가장 잘 동작합니 다.
배치 API와는 다르다
배치 API는 제공업체에게서 추론을 할인된 가격에 오프라인으로 사는 방법입니다. 연속 배칭은 서버 내부의 스케줄링 방법으로, 실시간 트래픽에 쓰입니다.
장단점
동시에 처리하는 요청이 많아지면 GPU를 나눠 쓰므로 각 요청의 생성 속도가 조금 느려집니다. 서버는 최대 배치 크기와 단계당 토큰 수 설정을 제공하므로, 처리량과 첫 토큰까지의 시간 사이에서 균형을 맞출 수 있습니다.
관련 용어
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- PagedAttention
- PagedAttention은 운영체제의 페이지처럼, 언어 모델의 KV cache를 GPU 메모리에서 서로 붙어 있을 필요가 없는 작은 고정 크기 블록에 저장하는 방법입니다. 낭비되는 메모리를 줄여 서버가 한 번에 더 많은 요청을 처리할 수 있게 합니다.
- KV 캐시
- KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
- 배치 API
- 배치 API(batch API)는 대량의 모델 요청을 하나의 작업으로 제출하고 결과를 나중에 받는 방식으로, 호출마다 기다릴 필요가 없습니다. 제공업체는 여유 용량이 있을 때 작업을 실행하며, 보통 요금을 더 적게 받습니다.
- 초당 토큰 수(Tokens per second)
- 초당 토큰 수(tokens per second, tok/s)는 언어 모델이 출력을 얼마나 빨리 만드는지 측정합니다. 응답 하나가 스트리밍되는 속도인 사용자별 기준, 또는 모든 동시 요청의 출력 합계인 시스템 기준으로 표시합니다.