속도 제한(Rate limit, API)
속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
다른 이름: rate limiting, RPM, TPM
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
AI 제공업체는 용량을 공정하게 나누고 남용을 막기 위해 사용량을 제한합니다. 한도는 보통 조직이나 프로젝트별, 모델별로 정해지며, 계정의 사용 이력이 쌓일수록 올라갑니다. 예를 들어 Anthropic 문서는 Messages API 한도를 분당 요청 수, 분당 입력 토큰 수, 분당 출력 토큰 수로 측정하며, 어느 한도를 넘었는지 알려 주는 429 오류를 반환합니다.
한도의 동작 방식
분당 한도는 더 짧은 간격으로 적용되는 경우가 많아, 1분 합계로는 괜찮더라도 순간적으로 몰린 요청은 실패할 수 있습니다. Anthropic은 API가 토큰 버킷 방식을 쓴다고 밝히며, 따라서 용량은 정해진 시각에 초기화되는 것이 아니라 계속해서 채워집니다. 일부 한도는 캐시되지 않은 입력만 세므로, 프롬프트 캐싱은 같은 한도 안에서 더 많은 작업을 처리하는 방법이 됩니다. 별도의 지출 상한도 월 예산에 도달하면 요청을 막을 수 있습니다.
429 오류 처리
`retry-after` 헤더가 있으면 읽고 그 시간만큼 기다리십시오. 없으면 약간의 무작위 지터를 섞은 지수 백오프로 재시도하고, 실패하는 작업이 끝없이 반복되지 않도록 재시도 횟수에 상한을 두십시오. 응답 헤더는 보통 각 한도가 얼마나 남았는지 알려 주므로, 클라이언트가 한도에 닿기 전에 속도를 늦출 수 있습니다. 대규모 오프라인 작업이라면 batch API에 별도의 더 높은 한도가 있는 경우가 많습니다.
한도를 고려한 계획
트래픽을 시간에 걸쳐 분산하고, 프롬프트를 간결하게 유지하고, 한 서비스가 다른 서비스를 굶기지 않도록 워크 스페이스별 자체 한도를 정하십시오. LLM 게이트웨이는 요청을 대기열에 넣고, 한 곳이 제한되면 폴백 모델이나 두 번째 제공업체로 보낼 수 있습니다. 속도 제한은 토큰 가격과 별개입니다.
관련 용어
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 배치 API
- 배치 API(batch API)는 대량의 모델 요청을 하나의 작업으로 제출하고 결과를 나중에 받는 방식으로, 호출마다 기다릴 필요가 없습니다. 제공업체는 여유 용량이 있을 때 작업을 실행하며, 보통 요금을 더 적게 받습니다.
- LLM 게이트웨이
- LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
- 모델 폴백
- 모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.
- API 키
- API 키(API key)는 애플리케이션이 요청마다 함께 보내는 비밀 문자열로, 서비스가 어느 계정이 호출하는지 알고, 한도를 적용하고, 요금을 청구하는 데 씁니다. 키를 가진 사람은 대개 누구나 그 키를 쓸 수 있습니다.