LiteLLM의 개요
LiteLLM은 두 가지 일을 합니다. Python 라이브러리로서는 하나의 OpenAI 형식 함수로 OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI 및 100개 이상의 다른 제공업체를 호출하게 해 줍니다. 프로젝트가 이제 AI Gateway라고 부르는 프록시 서버로서는 조직 전체와 이 제공업체들 사이에 놓입니다.
게이트웨이는 가상 키를 발급하고, 키, 사용자, 팀별 지출을 추적하며, 예산과 속도 제한을 적용합니다. 여러 배포 사이에 부하를 분산하고, 한 모델이 실패하면 다른 모델로 폴백합니다. Langfuse, MLflow, Helicone 등의 도구로 로그를 보내고, PII 마스킹 같은 가드레일을 실행할 수 있습니다. 저장소 설명은 이제 Python SDK와 함께 Rust 코어를 내세우고, 문서는 베타 단계의 Rust 게이트웨이를 안내합니다.
오픈 코어 방식입니다. enterprise/ 폴더 밖의 모든 코드는 MIT이고, 이 폴더는 별도의 상용 라이선스를 따릅니다. 엔터프라이즈 등급은 SSO와 SCIM, 감사 로그, 역할 기반 접근 제어, 에어갭 배포, 지원 SLA를 더하며, 가격은 문의해야만 알 수 있습니다.
LiteLLM, 쓸 만한 가치가 있습니까?
LiteLLM은 대부분의 팀이 가장 먼저 찾는 게이트웨이이며, 그 자리를 지키는 근거는 폭입니다. 하나의 OpenAI 형식 API 뒤에 100개 이상의 제공업체가 있고, 며칠마다 릴리스가 나오며(v1.106.4는 2026년 10월 25일), GitHub 스타는 약 62,100개입니다. 많은 도구가 LiteLLM 통합을 제공하므로 스택에서 혼자 동떨어진 부품이 되는 일은 드뭅니다. README의 초당 1,000 요청에서 P95 지연 8 ms라는 수치는 프로젝트 자체 벤치마크입니다.
모든 팀에 게이트웨이가 필요한 것은 아닙니다. 한 서비스에서 제공업체 한두 곳만 호출한다면, 제공업체 자체 SDK와 재시도 래퍼가 더 단순하고 한 단계를 줄여 줍니다. 게이트웨이가 제값을 하기 시작하는 때는 여러 팀이 제공업체 키를 공유할 때, 재무팀이 팀별 지출을 원할 때, 또는 Azure OpenAI와 OpenAI 사이의 자동 장애 조치가 필요할 때입니다. 가상 키, 예산, 폴백은 모두 오픈소스 빌드에서 동작합니다.
약점은 게이트웨이가 보유한 모든 제공업체 키를 쥐고 있어 보안 이력이 중요하다는 점입니다. 2026년 3월 24일, 탈취한 PyPI 토큰을 가진 공격자가 SSH 키, 클라우드 자격 증명, Kubernetes 토큰을 수집하는 오염된 릴리스 1.82.7과 1.82.8을 배포했습니다. LiteLLM의 사고 보고서에 따르면 이 릴리스는 약 40분 동안 공개되어 있었고, 침해는 CI 파이프라인의 Trivy 스캐너에서 비롯되었으며, 공식 Docker 이미지는 영향을 받지 않았습니다. 프로젝트의 보안 권고 목록도 깁니다. 2026년에 17건이 공개되었고 그중 4건이 치명적 등급이며, 5월의 Host 헤더 주입을 통한 인증 우회와 9월의 프록시 관리자 권한 상승이 포함됩니다. 완화책은 있습니다. -stable Docker 이미지는 12시간 부하 테스트를 거치고 모든 이미지가 cosign으로 서명됩니다. 하지만 버전을 고정하고 검증하는 팀에게만 도움이 됩니다.
오픈 코어의 경계도 흐릿합니다. SSO, 감사 로그, SLA는 분명히 유료입니다. 그런데 엔터프라이즈 페이지는 거버넌스 기능에 가상 키, 예산, RPM/TPM 제한도 포함시키는 반면, 오픈소스 문서는 이를 기본 기능으로 설명합니다. 같은 페이지는 SOC 2 Type 2와 ISO 27001, 그리고 Sev 0 장애에 대한 1시간 대응 목표를 제시합니다. 주요 오픈소스 경쟁자는 Portkey의 게이트웨이이고, 이 계층을 직접 운영하기보다 빌려 쓰려는 팀에는 OpenRouter가 맞습니다. 대신 모든 프롬프트가 제3자를 거칩니다.
제 역할을 하는 곳
엔지니어 300명에게 OpenAI, Anthropic, Bedrock 접근 권한을 주는 플랫폼팀
팀별로 예산이 있는 키를 발급하고 팀별 지출 보고하기
Postgres와 Redis를 갖춘 Kubernetes에서 프록시를 실행하고, 각 팀에 예산이 걸린 가상 키를 주며, 재무팀에 키, 사용자, 팀별 지출을 제공합니다. 오픈소스 빌드에서는 무료이며, 관리 UI의 SSO에는 엔터프라이즈 라이선스가 필요합니다.
LLM 기반 제품의 가동 시간을 책임지는 SRE
한 배포의 성능이 떨어지면 Azure OpenAI에서 OpenAI로 장애 조치하기
두 배포를 하나의 모델 그룹에 넣고 라우터에서 폴백과 재시도를 설정합니다. 대가는 네트워크 한 단계 추가와 모든 제공업체 키를 쥔 구성 요소입니다. 따라서 -stable 이미지를 고정하고 cosign 서명을 검증합니다.
규제를 받는 핀테크의 엔지니어링 책임자
자체 호스팅 오픈소스 LiteLLM과 엔터프라 이즈 라이선스 중에서 고르기
Enterprise는 별도 견적이며 30일 자체 호스팅 체험 키를 제공하고, SSO, SCIM, 감사 로그, Sev 0 대응 1시간 목표를 더합니다. 어느 쪽이든 패치에 쓸 시간을 확보해야 합니다. 2026년에 치명적 보안 권고가 4건 나왔습니다.
도입 전 확인할 점
- 설정
- uv tool install 'litellm[proxy]' 후 litellm --model gpt-4o를 실행하면 포트 4000에서 로컬 프록시가 돌아갑니다. 운영 환경에서는 Docker 이미지, Helm 차트, 또는 AWS(ECS Fargate, Aurora, ElastiCache)와 GCP(Cloud Run, Cloud SQL)용 Terraform 모듈을 씁니다.
- 연동
- 100개 이상의 제공업체에 걸친 OpenAI 호환 /chat/completions, /responses, /embeddings, /messages, /batches 등, Langfuse, MLflow, Helicone 등으로의 로깅, MCP와 A2A 게이트웨이, 프록시 없이도 동작하는 Python SDK를 제공합니다.
- 데이터와 개인정보
- 자체 호스팅이므로 프롬프트는 설정한 제공업체로만 갑니다. 운영 가이드에는 BerriAI로 보내는 텔레메트리 언급이 없습니다. 프록시는 키, 지출 로그, 선택적으로 프롬프트를 사용자의 Postgres에 보관합니다. 2026년에 보안 권고 17건이 공개되었고 그중 4건이 치명적입니다.
- 대규모 사용 시 비용
- 문서는 워커 하나에 vCPU 1개와 4 GiB를 잡으므로, 워커 8개 노드에는 vCPU 8개와 32 GiB가 필요합니다. 인스턴스를 둘 이상 돌리면 Postgres와 Redis 7도 필요합니다. Enterprise 가격은 문의해야 합니다.
- 제한
- 열린 이슈와 풀 리퀘스트 5,748개. 며칠마다 나오는 릴리스로 업그레이드가 잦습니다. Postgres 연결 풀은 인스턴스와 워커별로 크기를 정해야 합니다. Rust 게이트웨이는 아직 베타입니다.
좋은 점
- OpenAI 형식으로 100개 이상의 제공업체 지원
- 무료 빌드에 가상 키, 예산, 폴백 포함
- 12시간 부하 테스트를 거친 cosign 서명 -stable 이미지
- AWS와 GCP용 Terraform 모듈
아쉬운 점
- 2026년 보안 권고 17건, 그중 치명적 4건
- 2026년 3월 오염된 PyPI 릴리스
- 문서상 오픈 코어 경계가 불분명함
- Enterprise 가격 비공개
추천 대상
자체 인프라에서 많은 개발자에게 여러 모델 제공업체에 대한 통제된 접근을 제공해야 하는 플랫폼팀.
LiteLLM 대안
일대일 비교
LiteLLM: 자주 묻는 질문
- LiteLLM, 쓸 만한 가치가 있습니까?
- 여러 제공업체에 걸쳐 하나의 API, 팀별 예산, 폴백이 필요한 팀에게 기본이 되는 자체 호스팅 게이트웨이입니다. 단, 버전을 고정하고 보안상 중요한 인프라로 다뤄야 합니다. 평점은 5점 만점에 4.3점입니다.
- LiteLLM의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스이며, 별도 상용 라이선스를 따르는 enterprise/ 폴더는 예외입니다. Enterprise는 별도 견적이며 30일 무료 체험 키를 제공합니다.
- LiteLLM의 단점은 무엇입니까?
- 2026년 보안 권고 17 건, 그중 치명적 4건; 2026년 3월 오염된 PyPI 릴리스; 문서상 오픈 코어 경계가 불분명함; Enterprise 가격 비공개.
- LiteLLM에 적합한 사람은 누구입니까?
- 자체 인프라에서 많은 개발자에게 여러 모델 제공업체에 대한 통제된 접근을 제공해야 하는 플랫폼팀.
- 팀이나 프로덕션 환경에서 LiteLLM의 비용은 얼마입니까?
- 문서는 워커 하나에 vCPU 1개와 4 GiB를 잡으므로, 워커 8개 노드에는 vCPU 8개와 32 GiB가 필요합니다. 인스턴스를 둘 이상 돌리면 Postgres와 Redis 7도 필요합니다. Enterprise 가격은 문의해야 합니다.
- LiteLLM에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 프롬프트는 설정한 제공업체로만 갑니다. 운영 가이드에는 BerriAI로 보내는 텔레메트리 언급이 없습니다. 프록시는 키, 지출 로그, 선택적으로 프롬프트를 사용자의 Postgres에 보관합니다. 2026년에 보안 권고 17건이 공개되었고 그중 4건이 치명적입니다.
- LiteLLM의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Portkey AI Gateway, Bifrost, vLLM Semantic Router 및 Langfuse입니다.
답변 확인일: 2026년 10월 26일.
LiteLLM 개발사입니까? 이 평점을 사이트에 표시하십시오
