본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

모델 폴백

모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.

다른 이름: failover, fallback model, provider failover

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

호스팅 모델은 대부분의 웹 API보다 더 자주 실패합니다. 제공업체에는 장애가 있고, 바쁜 시간에는 레이트 리밋 오류와 과부하 오류를 돌려주며, 너무 길거나 콘텐츠 필터에 걸리는 요청은 거부합니다. 폴백 체인은 이런 오류를 망가진 기능 대신 조금 느리거나 조금 다른 답으로 바꿉니다.

작동 방식

모델을 선호 순서대로 나열합니다. 예를 들어 기본 모델, 그다음 두 번째 추론 제공업체의 같은 모델, 그다음 다른 회사의 더 저렴한 모델입니다. 클라이언트나 LLM 게이트웨이가 첫 번째를 시도하고, 정해진 횟수만큼 재시도한 뒤에도 실패하면 요청이 목록의 다음으로 내려갑니다. LiteLLM, Portkey, OpenRouter 같은 도구가 이를 지원합니다. LiteLLM은 오류 유형별로 체인을 따로 둘 수도 있습니다. 컨텍스트 윈도를 넘는 프롬프트용 체인과 콘텐츠 정책 거부용 체인 같은 것입니다. 또 실패하는 배포를 쿨다운 상태로 두어 트래픽이 더 이상 가지 않게 합니다.

폴백과 라우팅

LLM 라우팅은 난이도나 가격 등에 따라 요청마다 미리 모델을 고릅니다. 폴백은 무언가 잘못된 뒤에만 동작합니다. 많은 게이트웨이가 둘 다 합니다.

주의할 점

예비 모델은 출력 형식이 다르거나, 지원하는 도구가 다르거나, 컨텍스트 윈도가 더 작을 수 있으므로, 체인의 모든 모델을 자신의 프롬프트와 구조화된 출력 스키마로 시험하십시오. 어떤 모델이 각 요청에 답했는지 기록하십시오. 그렇지 않으면 조용한 폴백으로 생긴 품질 변화를 추적하기 어렵습니다. 에이전트의 도구 호출처럼 부수 효과가 있는 요청은 반복해도 안전하게 만들기 전에는 재시도하지 마십시오.

관련 용어

LLM 게이트웨이
LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
LLM 라우팅(LLM routing)
LLM 라우팅(LLM routing)은 각 요청을 가장 알맞은 언어 모델로 보내는 방식입니다. 보통 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 비용, 속도, 품질의 균형을 맞춥니다.
속도 제한(Rate limit, API)
속도 제한(rate limit)은 계정이 일정 시간 동안 API를 쓸 수 있는 양의 상한으로, 보통 분당 요청 수(RPM)와 분당 토큰 수(TPM)로 정합니다. 한도를 넘는 요청은 거부되며, 대개 HTTP 429 오류가 납니다.
추론 제공업체
추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
LLM 관측성(LLM observability)
LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.

출처