LLM 라우팅 및 게이트웨이

확인할 점

선택지를 가르는 질문을 중요한 순서대로 정리했습니다.

1. 01

   라우터가 꼭 필요한가?

   서비스 하나가 공급자 한두 곳만 호출한다면, 공급자 자체 SDK와 재시도 래퍼가 더 단순하고 네트워크 홉도 하나 줄어듭니다. 게이트웨이는 여러 팀이 공급자 키를 공유하거나, 재무팀이 팀별 지출을 원하거나, 공급자 간 자동 장애 조치가 필요할 때 제값을 합니다. 의미에 따른 요청별 라우팅은 트래픽이 충분히 크고 다양해서 쉬운 요청을 더 싼 모델로 보내는 것이 청구액을 바꾸고, 품질이 유지된다는 것을 증명할 평가가 있을 때만 이득입니다.

2. 02

   호스팅 라우터, 자체 호스팅 게이트웨이, 의사결정 모델

   호스팅 라우터(OpenRouter)는 돌릴 것 없이 수백 개 모델에 대해 키 하나와 청구서 하나를 주지만, 모든 요청이 제3자를 거치고 크레딧에 수수료를 냅니다. 자체 호스팅 게이트웨이(LiteLLM, Bifrost, Portkey, Claude Code Router)는 트래픽과 키를 내 네트워크 안에 두고 예산과 로깅을 더하지만, 직접 운영해야 합니다. 의사결정 모델 라우터(vLLM Semantic Router, 또는 코드에서 호출하는 Jev, pplx-decider, d3 같은 의사결정 모델)는 요청마다 읽고 모델을 고릅니다. 이는 게이트웨이를 대체하는 것이 아니라 그 위의 층입니다.

3. 03

   대체 경로, 재시도, 공급자 지원 범위

   라우터가 속도 제한과 시간 초과에 재시도하고, 다른 키만이 아니라 다른 공급자나 모델로 넘어갈 수 있는지 확인하십시오. 지원 범위 주장(100개 이상 공급자, 1,600개 이상 모델)보다 Azure, Bedrock, Vertex를 포함한 내 특정 공급자가 도구 호출, 스트리밍, 프롬프트 캐싱 헤더, 비전 입력 같은 특성까지 지원되는지가 더 중요합니다. 장애 조치에 의존하기 전에 시험하십시오.

4. 04

   키, 예산, 지출 추적

   팀에게 핵심 기능은 팀, 사용자, 프로젝트마다 예산과 속도 제한이 붙은 가상 키를 발급하고 그에 대한 지출을 기록하는 것입니다. 이 기능 가운데 무엇이 오픈소스 빌드에 있고 무엇이 유료인지 확인하십시오. LiteLLM의 문서와 엔터프라이즈 페이지는 예산이 엔터프라이즈 전용인지에 대해 서로 다르게 말합니다. 호스팅 라우터는 청구를 대신 처리하지만 제어가 더 거칩니다.

5. 05

   보안 상태와 공급망

   게이트웨이는 가진 모든 공급자 키를 쥐고 있으므로, 그 자체의 보안 기록이 기능만큼 중요합니다. LiteLLM의 PyPI 릴리스 1.82.7과 1.82.8은 2026년 3월 자격 증명을 훔치도록 오염되었습니다. 정확한 버전으로 고정하고, 검증된 이미지에서 설치하고, 게이트웨이를 격리하며, 로컬 라우터는 localhost에 묶어 두십시오. 기본값도 확인하십시오. Bifrost는 관리 API가 인증 없이 출시되었고, 인증 없는 요청 하나로 명령을 실행할 수 있게 한 9.8 등급 결함은 2026년 9월 v2.1.0에서야 고쳐졌습니다. 소유권도 중요합니다. Portkey는 이제 Palo Alto Networks의 일부이며, 로드맵은 그곳이 정합니다.

6. 06

   지연 시간 부담과 캐싱

   게이트웨이들은 작은 부담을 광고하지만(LiteLLM은 초당 1,000 요청에서 P95 8 ms, Bifrost는 5,000에서 11 µs, Portkey는 1 ms 미만), 이는 프로젝트 자체 벤치마크이므로 내 트래픽으로 측정하십시오. 호스팅 라우터는 네트워크 홉과 경우에 따라 리전 변경을 더합니다. 시맨틱 라우터는 요청마다 분류기 호출을 더하고, 의사결정 모델은 수십에서 수백 밀리초를 보고합니다. 응답 캐싱과 공급자 프롬프트 캐싱의 전달은 라우터 비용보다 더 많이 절약할 수 있습니다.

7. 07

   라우팅 방식, 라이선스, 유지 관리

   규칙 기반 라우팅(모델 목록, 가중치, 조건)은 예측 가능하고 감사하기 쉽습니다. 시맨틱 또는 학습된 라우팅은 이론상 더 싸지만 디버그하기 어려우니, 왜 그 모델을 골랐는지 보고하는지 확인하십시오. 라이선스는 다릅니다. MIT(Portkey, Claude Code Router), 상용 enterprise 폴더가 있는 MIT(LiteLLM), Apache 2.0(vLLM Semantic Router, 그리고 Enterprise 빌드가 별도 라이선스인 Bifrost)입니다. 릴리스 활동도 확인하십시오. Portkey의 게이트웨이는 2026년 1월부터 10월까지 안정 릴리스가 없었습니다.

도구 11개 비교

저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.

LLM 라우팅 및 게이트웨이 도구 비교

도구	평점	저희 평가	추천 대상	가격
OpenRouter도구	4.6/5	앱에 모델이 둘 이상 필요하다면 OpenRouter가 합리적인 첫 정거장입니다. 하지만 꾸준히 많은 양을 모델 하나로 정착시키면 크레딧 수수료를 덜어낼 가치가 있습니다.	연동 하나로 여러 AI 모델을 시험하고, 비교하고, 제공하고 싶은 개발자와 소규모 팀.	모델은 제공업체 정가로 냅니다. 크레딧 구매 수수료: 5.5%(Standard) 또는 8%(Business). 자체 키는 월 사용량 첫 $25,000까지 무료, 그 뒤 5%. 무료 모델: 하루 50건, $10 구매 후 하루 1,000건.
Perplexity Decider (pplx-decider)모델	4.5/5	내려받을 수 있고, 이미지를 읽으며, Jev의 절반도 안 되는 가격에 돌릴 수 있는 결정 모델입니다. 아무도 학습에 쓸 수 없는 테스트에서 Jev보다 훨씬 높은 점수를 냅니다.	저렴한 API나 자체 GPU로 텍스트와 이미지에 대해 정해진 형식의 결정을 잘 내리고 싶은 팀.	API: pplx-decider-v1.2는 입력 1M 토큰당 $0.02, Flash는 $0.01입니다. 출력은 무료이고 요청당 요금은 없습니다. 가중치는 Apache 2.0으로 무료입니다.
LiteLLM저장소	4.3/5	여러 제공업체에 걸쳐 하나의 API, 팀별 예산, 폴백이 필요한 팀에게 기본이 되는 자체 호스팅 게이트웨이입니다. 단, 버전을 고정하고 보안상 중요한 인프라로 다뤄야 합니다.	자체 인프라에서 많은 개발자에게 여러 모델 제공업체에 대한 통제된 접근을 제공해야 하는 플랫폼팀.	MIT 라이선스의 무료 오픈소스이며, 별도 상용 라이선스를 따르는 enterprise/ 폴더는 예외입니다. Enterprise는 별도 견적이며 30일 무료 체험 키를 제공합니다.
d3 (vLLM Semantic Router)모델	4.0/5	강력하고 오픈이며 vLLM에서 서빙하기 쉽지만, 출시 9일 만에 자신의 d3-turbo가 나와 이제는 옮겨 가야 할 버전이 되었습니다.	이미 vLLM을 운영하며 자체 GPU로 텍스트, 이미지, 비디오 검사를 할 오픈 판정 모델이 필요하고 이 체크포인트로 검증을 마친 팀.	Apache 2.0으로 가중치는 무료입니다. 유료 호스팅 API는 없으며, 무료 공개 데모는 이제 d3-turbo로 돌아갑니다.
Claude Code Router저장소	4.0/5	코딩 에이전트를 더 저렴한 모델로 돌리기 위한 쓸 만한 로컬 교환대입니다. 다만 Anthropic이 그 결과를 지원하지 않고 편집 품질이 떨어진다는 점을 받아들여야 합니다.	Claude Code나 다른 에이전트를 더 저렴한 모델이나 로컬 모델로 돌리고 싶은 개발자.	무료 오픈소스(MIT)입니다. 라우팅하는 각 모델 제공업체에 비용을 냅니다.
Bifrost저장소	3.9/5	무료 빌드에 예산 기능까지 갖춘 빠른 Apache 라이선스 게이트웨이지만, 2026년 9월까지 관리 API를 열어 둔 보안 기본값이 발목을 잡습니다.	요청량이 많은 팀이나 Go 개발 조직 가운데, 예산 기능이 있는 Apache 라이선스 게이트웨이를 원하고 관리 API를 직접 잠글 준비가 된 곳.	Apache 2.0 무료 오픈소스입니다. Enterprise는 별도 견적이며 14일 무료 체험이 있고, 가격은 공개되지 않았습니다.
vLLM Semantic Router저장소	3.8/5	요청마다 모델을 고르는 야심 찬 오픈 라우터로, 이미 vLLM을 운영하며 빠르게 움직이는 프로젝트를 감당할 수 있는 팀에 맞습니다.	흔히 자체 vLLM 플릿에서 여러 모델을 서빙하며, 요청마다 모델을 고를 만큼 트래픽이 다양한 팀.	Apache 2.0의 무료 오픈소스입니다. 호스팅 유료 서비스는 없습니다.
Jev모델	3.8/5	Jev는 타입이 정해진 결정을 하나의 제품으로 만들었지만, 이후 오픈 모델들이 점수와 가격 모두에서 Jev를 앞질렀습니다.	자체 GPU를 운영하지 않고 텍스트 라우팅, 분류, 예/아니요 판정을 위한 저렴한 호스팅 API를 원하는 팀.	입력 100만 토큰당 $0.042(10억 토큰당 $42)이며, 출력 토큰은 무료입니다. 장문 컨텍스트에서도 가격은 같습니다. Enterprise 한도는 영업팀을 통해 정합니다.
Portkey AI Gateway저장소	3.7/5	Palo Alto Networks가 인수한 뒤 멈춰 선 깔끔한 MIT 라우터입니다. 지금 돌리기에는 괜찮지만 로드맵을 걸기는 어렵습니다.	가벼운 라우팅 계층을 원하는 엣지 런타임 팀, 또는 이미 Palo Alto 보안 제품을 사는 기업.	MIT의 무료 오픈소스입니다. 호스팅 요금제: Developer 무료(월 10,000개 기록 로그, 로그 보존 3일), Production 월 $49(100,000개 로그, 이후 100,000개당 $9), Enterprise 별도 견적.
ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)모델	3.7/5	가격은 사실이고 분류기도 좋습니다. 다만 출시 수치는 근거를 앞질렀고, Jev 호환은 보기보다 비용이 더 듭니다.	라우팅, 태깅, 필드 추출에 플래그십 모델 가격을 내고 있으며, 싸게 대체할 호스팅 모델을 원하고 먼저 자체 라벨 데이터로 시험해 볼 팀.	텍스트 입력 토큰 1M개당 $0.05, 이미지 입력 토큰 1M개당 $0.15, 출력 무료. 신규 계정에 무료 토큰 1M개. OpenRouter: 20% 할인으로 $0.04. Enterprise: 전용 인스턴스 또는 자체 호스팅 라이선스, 견적 기준.
LLaya모델	3.4/5	매우 빠르고 진정한 오픈 모델이지만, 그대로 쓰면 어려운 판단에서 찍기에 가깝습니다. Jev의 대체재가 아니라 파인튜닝할 기반입니다.	자체 레이블 의사결정 데이터를 갖고 있고, 빠른 라우팅이나 가드레일용으로 파인튜닝할 작은 셀프 호스팅 모델을 원하는 팀.	가중치와 Python 패키지는 Apache 2.0으로 무료입니다. 유료 호스팅 API는 없으며 직접 실행합니다.

사양 비교

이 단계에서 중요한 사양입니다. 2026년 10월 19일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.

일대일 비교와 순위 가이드

• LiteLLM vs Bifrost
• LiteLLM vs Portkey AI Gateway

이 단계가 쓰이는 곳

• 고객 지원 에이전트: Jev부터 시작하겠습니다.
• 코딩 에이전트: OpenRouter, LiteLLM부터 시작하겠습니다.
• 음성 에이전트: Laya부터 시작하겠습니다.
• 문서 처리: GLiNER2.5-Decide부터 시작하겠습니다.
• 워크플로 자동화: Perplexity Decider (pplx-decider)부터 시작하겠습니다.

이 가이드의 출처

• OpenRouter pricing
• LiteLLM repository
• LiteLLM enterprise
• Datadog Security Labs: LiteLLM PyPI compromise
• Portkey AI Gateway repository
• Palo Alto Networks completes acquisition of Portkey
• Bifrost repository
• Bifrost docs: supported providers
• The Hacker News: Critical Bifrost AI gateway flaw
• vLLM Semantic Router repository
• Claude Code Router repository