본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

LLM 게이트웨이

LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.

다른 이름: AI gateway

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

팀이 둘 이상의 모델 제공업체를 호출하게 되면, 같은 기반 작업이 서비스마다 다시 만들어집니다. API 키, 재시도, 비용 추적, 팀별 한도입니다. 게이트웨이는 그 작업을 하나의 공유 계층으로 옮깁니다. 애플리케이션은 모든 요청을 게이트웨이로 보내고, 게이트웨이가 이를 알맞은 제공업체로 전달합니다.

게이트웨이가 보통 하는 일

대부분의 게이트웨이는 OpenAI 호환 API를 제공하므로, 기존 클라이언트 코드가 base URL만 바꿔 여러 제공업체와 동작합니다. 그 엔드포인트 뒤에서 사용자나 팀별로 가상 키를 나눠 주고, 예산과 레이트 리밋을 적용하고, 호출마다 비용을 기록하고, 제공업체에 장애가 나면 재시도하거나 다른 곳으로 넘기고, 로그와 트레이스를 관측성 도구로 보냅니다. 일부는 LLM 라우팅, 캐싱, 안전 점검도 합니다.

오픈소스 예로는 LiteLLM, Portkey Gateway, Bifrost가 있습니다. OpenRouter 같은 호스팅 서비스는 비슷한 단일 엔드포인트를 유료 서비스로 제공합니다.

게이트웨이와 라우터

라우터는 한 가지 질문에 답합니다. 이 요청을 어떤 모델이 맡아야 하는가입니다. 게이트웨이는 키, 한도, 로그 기록과 함께 라우터를 포함할 수도 있는 더 넓은 통제 지점입니다.

한계

게이트웨이는 요청 경로에 새로 들어오는 인프라입니다. 거쳐 가는 단계가 하나 늘어 지연 시간이 더해지고, 이중화 없이 운영하면 단일 장애 지점이 되며, 모든 제공업체 키를 보관하므로 다른 비밀 저장소와 같은 수준의 주의가 필요합니다.

관련 용어

LLM 라우팅(LLM routing)
LLM 라우팅(LLM routing)은 각 요청을 가장 알맞은 언어 모델로 보내는 방식입니다. 보통 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 비용, 속도, 품질의 균형을 맞춥니다.
OpenAI 호환 API(OpenAI-compatible API)
OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.
모델 폴백
모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.
속도 제한(Rate limit, API)
속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
LLM 관측성(LLM observability)
LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.
API 키
API 키(API key)는 애플리케이션이 요청마다 함께 보내는 비밀 문자열로, 서비스가 어느 계정이 호출하는지 알고, 한도를 적용하고, 요금을 청구하는 데 씁니다. 키를 가진 사람은 대개 누구나 그 키를 쓸 수 있습니다.

출처