본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

배치 API

배치 API(batch API)는 대량의 모델 요청을 하나의 작업으로 제출하고 결과를 나중에 받는 방식으로, 호출마다 기다릴 필요가 없습니다. 제공업체는 여유 용량이 있을 때 작업을 실행하며, 보통 요금을 더 적게 받습니다.

다른 이름: batch inference, batch processing, Message Batches API

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

대부분의 모델 호출은 동기식입니다. 프롬프트를 보내고 답을 기다립니다. 하지만 지원 티켓 100만 건 분류, 상품 설명 생성, 평가 모음 실행, 학습 데이터 레이블링처럼 몇 초 안에 답이 필요 없는 작업도 많습니다. 배치 API는 그런 작업을 위해 만들어졌습니다.

작동 방식

각각 고유 ID가 붙은 요청 파일이나 목록을 올립니다. 제공업체는 작업을 대기열에 넣어 백그라운드에서 처리하고, 폴링할 수 있는 상태 정보를 줍니다. 작업이 끝나면 결과를 내려받아 ID와 맞춥니다. 예를 들어 Anthropic의 Message Batches API는 표준 호출보다 50퍼센트 저렴하며, 배치 하나에 최대 24시간이 걸릴 수 있다고 밝힙니다. 다만 많은 배치는 더 빨리 끝납니다. OpenAI와 다른 제공업체도 저마다의 할인율과 처리 기간으로 비슷한 엔드포인트를 제공합니다. 최신 수치는 AI 모델 가격에서 확인하십시오.

더 저렴한 이유

제공업체는 한가한 시간에 배치 작업을 돌리고 요청을 효율적으로 묶을 수 있습니다. 배치 작업은 보통 실시간 트래픽과 별도의 레이트 리밋을 가지므로, 큰 작업이 제품의 처리량을 빼앗지 않습니다.

배치 API와 서버의 배칭

"배칭"은 모델 서빙 서버가 GPU에서 요청을 묶는 방식을 가리키기도 합니다. 연속 배칭이 그 예입니다. 이는 내부 속도 기법이며 실시간 트래픽에도 적용됩니다. 배치 API는 제품입니다. 더 느리지만 할인된 가격으로 추론을 사는 방법입니다.

한계

지연 시간과 일부 통제권을 포기해야 합니다. 개별 요청이 실패하거나 만료되어 다시 제출해야 할 수 있고, 결과가 순서 없이 도착하며, 스트리밍할 수 없습니다. 사용자가 기다리고 있는 작업에는 맞지 않습니다.

관련 용어

토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
속도 제한(Rate limit, API)
속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
연속 배칭
연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.

출처