Bifrost의 개요
Bifrost는 Maxim 평가·관측성 플랫폼을 만든 Maxim AI가 Go로 작성한 오픈소스 LLM 게이트웨이입니다. 웹 UI가 있는 단일 HTTP 서비스나 Go 라이브러리로 실행되며, 애플리케이션에 OpenAI, Anthropic, Bedrock, Vertex AI, Azure, Groq, Mistral, Ollama, vLLM 등의 앞단에 OpenAI 호환 API 하나를 제공합니다. 문서의 지원 표에는 제공업체 32곳이 있습니다.
오픈소스 빌드는 대체, 키 간 부하 분산, 시맨틱 캐싱, 도구 서버용 MCP 게이트웨이, Prometheus 지표, 팀이나 고객별 예산과 속도 제한이 있는 가상 키를 다룹니다. OpenAI, Anthropic, Google GenAI SDK용 대체 엔드포인트도 제공하므로 기존 코드는 기본 URL만 바꾸면 됩니다.
저장소 전체가 Apache 2.0입니다. 별도 라이선스의 Enterprise 빌드는 클러스터링, 적응형 부하 분산, 역할 기반 접근 제어가 있는 SSO, 감사 로그, 볼트 통합, 가드레일, VPC 배포를 더하며, 14일 체험판이 있고 가격은 공개되지 않았습니다.
Bifrost, 쓸 만한 가치가 있습니까?
Bifrost는 자체 호스팅 게이트웨이 가운데 LiteLLM에 가장 진지하게 도전하는 제품이며, 그 논거는 속도입니다. README는 AWS t3.xlarge에서 초당 5,000건의 요청을 지속할 때 요청당 추가 지연이 11 µs, t3.medium에서는 59 µs라고 보고합니다. Maxim의 비교 페이지는 더 나아가, t3.medium에서 초당 500건일 때 Bifrost는 요청의 100%를 처리한 반면 LiteLLM은 88.78%였고, P99 지연은 1.68초 대 90.72초였다고 보여 줍니다. 업체 자체 테스트이며, 비교 차트는 측정된 분포로 시뮬레이션한 것입니다. 2025년 3월에 만들어진 젊은 프로젝트지만 활발합니다. 스타 약 9,100개, 게이트웨이 릴리스 v2.3.2가 2026년 10월 20일에 나왔습니다.
라이선스는 LiteLLM보다 깔끔합니다. 상용 폴더 없이 저장소 전체가 Apache 2.0이며, 문서는 가상 키, 일 단위부터 연 단위까지 초기화되는 달러 예산, 토큰 및 요청 한도, 팀과 고객 계층을 오픈소스 빌드에 둡니다. 다른 곳에서는 경계가 흐려집니다. 엔터프라이즈 페이지는 거버넌스와 가드레일을 유료 기능으로 나열하는데 오픈소스 설명은 둘 다 있다고 하고, README는 엔터프라이즈 배포에 MCP 게이트웨이가 추가된다고 하는데 문서는 이를 표준 기능으로 소개합니다. 클러스터링과 적응형 부하 분산은 분명히 유료이며, 고가용성을 계획하는 사람에게는 중요한 부분입니다.
약점은 보안 기본값입니다. 관리 인증이 기본적으로 꺼져 있었고 공식 Docker 이미지는 모든 인터페이스에 바인딩되어, 포트에 접근할 수 있는 사람은 누구나 게이트웨이를 관리할 수 있었습니다. 2026년 9월 JFrog는 CVE-2026-90898(GitHub 권고 GHSA-86gf-xh3g-rvxq)을 공개했고, NVD 기록과 권고 모두 10점 만점에 9.8점으로 평가했습니다. 인증 없는 요청 하나로 stdio MCP 서버를 등록해 컨테이너 안에서 명령을 실행할 수 있었습니다. 9월 8일에 나온 transports v2.1.0에서 고쳐졌습니다. The Hacker News는 Maxim이 이 결함을 낮은 심각도로 본다고 전했고, JFrog는 노출된 인스턴스는 모두 침해된 것으로 보고 키를 전부 교체하라고 권합니다. 그 옆에 심각도 high 권고가 두 건 더 있습니다. 동적 링크 빌드의 플러그인 로딩 코드 실행 결함과 7월의 불완전한 SSRF 필터입니다. 설정 가이드는 이제 첫 관리자 계정에 설정 토큰을 요구하고, 새 인스턴스에는 비밀번호가 없다고 경고합니다.
또 다른 빈틈은 지원 범위입니다. 문서는 제공업체 32곳을 나열하는데 LiteLLM은 100곳 이상이고, README는 여전히 23곳 이상이라고 하며, 저장소 설명은 10,000개 이상의 모델을 내세우는데 이는 통합이 아니라 모델 수를 센 것입니다. Python 라이브러리는 없고 Go SDK만 있습니다. 온라인의 Bifrost 대 LiteLLM 글은 거의 모두 Maxim이나 그 직원이 쓴 것입니다. 우리가 찾은 유일한 독립 의견은 2025년 말의 Hacker News 댓글로, "빠르지만 많은 기능이 유료"라고 했습니다. 속도 우위는 업체 수치상 실재하지만 주로 초당 수천 건 수준에서 의미가 있습니다. 같은 README 표에서 제공업체를 포함한 평균 요청 시간은 1.61초였고, 게이트웨이 오버헤드는 11 µs였습니다.
제 역할을 하는 곳
Python 게이트웨이가 피크 때 노드 여러 대를 필요로 하는 플랫폼 엔지니어
더 적은 게이트웨이 인스턴스로 초당 수천 건의 요청 처리하기
Maxim은 2 vCPU, 4 GB인 t3.medium에서 초당 5,000건을 100% 성공률로 처리했고 메모리는 최대 약 1.3 GB였다고 보고합니다. 규모를 바꾸기 전에 공개된 벤치마크 가이드로 직접 부하 테스트를 하고, 인스턴스 여러 대는 PostgreSQL 16 이상으로 뒷받침하십시오.
Go로 서비스를 작성하는 백엔드 팀
별도 프록시 없이 대체 기능과 함께 여러 제공업체 호출하기
go get github.com/maximhq/bifrost/core로 라우터를 서비스에 내장하면 추가 네트워크 홉도, 보호해야 할 게이트웨이도 없습니다. 대신 중앙 게이트웨이가 주는 웹 UI와 공유 지출 추적을 잃습니다.
제품팀 3개가 있는 60명 규모 회사의 엔지니어링 매니저
엔터프라이즈 라이선스 없이 팀마다 자체 키와 월 예산 주기
팀마다 매월 초기화되는 달러 예산과 요청 한도가 있는 가상 키를 만듭니다. 모두 오픈소스 빌드에 있습니다. 대시보드 SSO, 감사 로그, 클러스터링은 Enterprise가 필요하며, 14일 체험이 있고 가격은 공개되지 않았습니다.
사내 도구를 호출하는 에이전트를 만드는 팀
MCP 서버를 한 번 등록하고 어떤 키가 어떤 도구를 쓸지 통제하기
게이트웨이에 MCP 클라이언트를 추가하고 가상 키별로 도구를 거릅니다. 먼저 관리 인증을 켜고 v2.1.0 이상을 쓰십시오. stdio MCP 등록이 9.8점짜리 결함의 경로였습니다.
도입 전 확인할 점
- 설정
- npx -y @maximhq/bifrost 또는 docker run -p 8080:8080 maximhq/bifrost로 포트 8080에서 게이트웨이와 웹 UI를 시작하며, README는 1분이 안 걸린다고 합니다. 설정과 로그는 기본적으로 앱 디렉터리의 SQLite에 저장되고, 운영에는 PostgreSQL 16+를 씁니다. 저장소에 Helm 차트와 Terraform도 있습니다.
- 연동
- OpenAI 호환 API와 OpenAI, Anthropic, Bedrock, GenAI SDK용 대체 엔드포인트. 문서상 제공업체 32곳. MCP 게이트웨이. Prometheus와 OpenTelemetry. Maxim 자체 관측성 제품용 플러그인. Go SDK.
- 데이터와 개인정보
- 자체 호스팅이므로 프롬프트는 설정한 제공업체로만 갑니다. 문서에서 Maxim으로 사용 정보를 보고하는 기능은 찾지 못했고, 텔레메트리 플러그인은 Prometheus 지표를 로컬에서 제공합니다. 콘텐츠 로깅은 키별로 끌 수 있습니다. 2026년에 critical 권고 1건과 high 권고 2건이 공개되었으며, 관리 인증은 직접 켜야 합니다.
- 대규모 사용 시 비용
- 업체의 초당 5,000건 테스트는 t3.medium(2 vCPU, 4 GB)과 t3.xlarge(4 vCPU, 16 GB)에서 실행되었고, 후자의 메모리는 최대 3.3 GB였습니다. 상태를 공유하며 노드를 두 대 이상 돌리려면 PostgreSQL이 필요하고, 피어 투 피어 클러스터링은 Enterprise이며 가격은 문의해야 합니다.
- 제한
- 열린 이슈 550개와 열린 풀 리퀘스트 823개. 데이터베이스 마이그레이션이 포함된 잦은 릴리스. 트랜잭션 모드의 PgBouncer나 RDS Proxy 뒤에서는 PostgreSQL 마이그레이션 이 실패할 수 있습니다. Python SDK가 없고 제공업체가 LiteLLM보다 적습니다.
좋은 점
- 저장소 전체가 Apache 2.0
- 무료 빌드에 가상 키, 예산, 속도 제한
- 초당 5,000건에서 오버헤드 11 µs(업체 벤치마크)
- OpenAI, Anthropic, GenAI SDK용 대체 엔드포인트
아쉬운 점
- v2.1.0 이전에는 관리 API가 기본적으로 인증 없음, CVSS 9.8 결함
- 제공업체 32곳으로 LiteLLM의 100곳 이상보다 적음
- 클러스터링과 적응형 부하 분산은 Enterprise 전용
- 온라인 비교 글 대부분을 업체가 씀
추천 대상
요청량이 많은 팀이나 Go 개발 조직 가운데, 예산 기능이 있는 Apache 라이선스 게이트웨이를 원하고 관리 API를 직접 잠글 준비가 된 곳.
Bifrost 대안
일대일 비교
Bifrost: 자주 묻는 질문
- Bifrost, 쓸 만한 가치가 있습니까?
- 무료 빌드에 예산 기능까지 갖춘 빠른 Apache 라이선스 게이트웨이지만, 2026년 9월까지 관리 API를 열어 둔 보안 기본값이 발목을 잡습니다. 평점은 5점 만점에 3.9점입니다.
- Bifrost의 가격은 얼마입니까?
- Apache 2.0 무료 오픈소스입니다. Enterprise는 별도 견적이며 14일 무료 체험이 있고, 가격은 공개되지 않았습니다.
- Bifrost의 단점은 무엇입니까?
- v2.1.0 이전에는 관리 API가 기본적으로 인증 없음, CVSS 9.8 결함; 제공업체 32곳으로 LiteLLM의 100곳 이상보다 적음; 클러스터링과 적응형 부하 분산은 Enterprise 전용; 온라인 비교 글 대부분을 업체가 씀.
- Bifrost에 적합한 사람은 누구입니까?
- 요청량이 많은 팀이나 Go 개발 조직 가운데, 예산 기능이 있는 Apache 라이선스 게이트웨이를 원하고 관리 API를 직접 잠글 준비가 된 곳.
- 팀이나 프로덕션 환경에서 Bifrost의 비용은 얼마입니까?
- 업체의 초당 5,000건 테스트는 t3.medium(2 vCPU, 4 GB)과 t3.xlarge(4 vCPU, 16 GB)에서 실행되었고, 후자의 메모리는 최대 3.3 GB였습니다. 상태를 공유하며 노드를 두 대 이상 돌리려면 PostgreSQL이 필요하고, 피어 투 피어 클러스터링은 Enterprise이며 가격은 문의해야 합니다.
- Bifrost에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 프롬프트는 설정한 제공업체로만 갑니다. 문서에서 Maxim으로 사용 정보를 보고하는 기능은 찾지 못했고, 텔레메트리 플러그인은 Prometheus 지표를 로컬에서 제공합니다. 콘텐츠 로깅은 키별로 끌 수 있습니다. 2026년에 critical 권고 1건과 high 권고 2건이 공개되었으며, 관리 인증은 직접 켜야 합니다.
- Bifrost의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LiteLLM, Portkey AI Gateway 및 vLLM Semantic Router입니다.
답변 확인일: 2026년 10월 26일.