LLM 라우팅(LLM routing)
LLM 라우팅(LLM routing)은 각 요청을 가장 알맞은 언어 모델로 보내는 방식입니다. 보통 쉬운 프롬프트는 저렴한 모델로, 어려운 프롬프트는 더 강한 모델로 보내 비용, 속도, 품질의 균형을 맞춥니다.
다른 이름: model routing, router
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
대부분의 애플리케이션은 모든 요청에 가장 뛰어난 모델이 필요하지 않습니다. 인사말, 간단한 조회, 서식 정리 작업은 작고 빠른 모델로 보내고, 까다로운 코딩이나 추론 작업은 더 큰 모델로 보내면 됩니다. 라우터가 요청마다 이 선택을 하므로, 청구액이 실제 작업 구성을 반영합니다.
작동 방식
라우터는 규칙 집합일 수도 있고(코드가 있으면 모델 A로, 일정 길이를 넘으면 모델 B로), 과거 결과로 학습한 분류기일 수도 있고, 프롬프트를 읽고 목적지를 고르는 작은 모델일 수도 있습니다. RouteLLM 논문은 인간 선호 데이터로 라우터를 학습시켜 더 강한 모델과 더 약한 모델 중 하나를 고르게 했고, 일부 경우 답변 품질 저하 없이 비용을 절반 넘게 줄였다고 보고합니다. 정해진 형식의 선택지를 반환하는 결정 모델도 선택 단계를 만드는 또 다른 방법입니다.
라우팅은 보통 LLM 게이트웨이나 OpenRouter 같은 서비스, 또는 vLLM Semantic Router 같은 오픈소스 라우터에 들어 있습니다. AI 스택의 LLM 라우팅 단계에 더 많은 선택지가 있습니다.
라우팅과 폴백의 차이
라우팅은 호출 전에 요청을 보고 모델을 고릅니다. 폴백 모델은 호출이 실패하거나 시간 초과된 뒤에 쓰입니다. 많은 시스템이 둘 다 씁니다.
한계
라우터는 자체 지연 시간을 더하고, 어려운 프롬프트를 쉬운 것으로 잘못 판단할 수 있습니다. 이 경우 오류가 아니라 더 나쁜 답변으로 나타납니다. 자신의 트래픽으로 테스트하고, 각 요청을 어느 모델이 처리했는지 기록하십시오.
관련 용어
- LLM 게이트웨이
- LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
- 결정 모델
- 결정 모델(decision model)은 자유로운 텍스트를 생성하는 대신, 목록에서의 선택, 기준표에 따른 점수, 예/아니요 확률처럼 타입이 정해진 답을 돌려주도록 만든 모델입니다.
- 모델 폴백
- 모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부 할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- 추론 제공업체
- 추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.