2026년 추천 오픈소스 LLM 게이트웨이 및 관측성 도구

저희가 리뷰한 오픈소스 LLM 게이트웨이 및 관측성 도구 25개 중 현재 추천은 Langfuse, Anthropic Sandbox Runtime (srt) 및 MLflow입니다. 각 제품을 저희 평점순으로 정렬하고 가격, 평가 요약, 추천 대상을 적었습니다.

작성: Sheela · 2026년 11월 3일 업데이트 · 리뷰 방법

순위 산정 방법: 각 제품의 가격, 문서, 정책, 그리고 독립 벤치마크가 있으면 그것까지 바탕으로 한 리뷰의 5점 만점 평점순으로 정렬합니다. 모든 정보는 리뷰에 적힌 날짜에 확인했습니다. 제휴 수수료는 받지 않습니다.

1
Langfuse
완전히 소유할 수 있는, 프레임워크에 중립적인 LLM 트레이싱입니다. 무료 자체 호스팅 빌드가 거의 모든 것을 다루고, 클라우드는 유닛 단위까지 가격이 매겨져 있습니다.
추천 대상: 무료로 자체 호스팅하거나 합리적인 가격의 클라우드 서비스로 살 수 있는, 프레임워크 중립적 트레이싱과 평가를 원하는 팀.
가격: ee/ 폴더가 상용 라이선스인 것을 제외하면 MIT 라이선스의 무료 오픈소스입니다. Cloud: Hobby 무료(월 50k 유닛), Core 월 $29, Pro 월 $199(Teams 추가 기능 +$300), Enterprise 월 $2,499이며, 초과분은 100k 유닛당 $8이고 50M을 넘으면 $6로 내려갑니다.
Langfuse 리뷰 읽기
4.6/5
2
Anthropic Sandbox Runtime (srt)
코딩 에이전트는 무엇이든 하도록 설득당할 수 있지만 운영체제는 그렇지 않으며, srt는 운영체제에게 결정권을 줍니다.
추천 대상: 자기 기기에서 코딩 에이전트를 돌리는 모든 개발자의 첫 번째 보호 계층.
가격: Apache 2.0의 무료 오픈소스입니다.
Anthropic Sandbox Runtime (srt) 리뷰 읽기
4.4/5
3
MLflow
여전히 ML 실험을 기록하는 기본 장소이며, 이제 LLM 트레이싱과 평가까지 무료로 딸려 옵니다. 다른 사람이 접근하기 전에 서버부터 잠그십시오.
추천 대상: 모델을 학습하고 LLM 기능도 만들며, 둘 모두를 위한 무료 자체 호스팅 기록 시스템을 원하는 Python 팀.
가격: Apache-2.0의 무료 오픈소스이며 서버, 데이터베이스, 객체 스토리지 비용만 냅니다. Databricks의 관리형 MLflow는 별도 정가 없이 Databricks 연산으로 청구되며, Free Edition은 개인 용도 전용입니다.
MLflow 리뷰 읽기
4.4/5
4
garak
모델 수준의 약점을 찾는 표준 오픈 스캐너입니다. 출시 전과 모델을 바꿀 때마다 돌려야 하지만, 에이전트의 도구와 권한을 테스트하는 도구로 오해해서는 안 됩니다.
추천 대상: 출시 전과 모델을 바꿀 때마다 LLM 엔드포인트에 반복 가능한 모델 수준 취약점 스캔을 하고 싶은 팀.
가격: Apache 2.0 무료 오픈소스입니다. 스캔이 일으키는 모델 호출 비용만 냅니다.
garak 리뷰 읽기
4.3/5
5
LiteLLM
여러 제공업체에 걸쳐 하나의 API, 팀별 예산, 폴백이 필요한 팀에게 기본이 되는 자체 호스팅 게이트웨이입니다. 단, 버전을 고정하고 보안상 중요한 인프라로 다뤄야 합니다.
추천 대상: 자체 인프라에서 많은 개발자에게 여러 모델 제공업체에 대한 통제된 접근을 제공해야 하는 플랫폼팀.
가격: MIT 라이선스의 무료 오픈소스이며, 별도 상용 라이선스를 따르는 enterprise/ 폴더는 예외입니다. Enterprise는 별도 견적이며 30일 무료 체험 키를 제공합니다.
LiteLLM 리뷰 읽기
4.3/5
6
Arize Phoenix
Phoenix는 공개 트레이싱 도구 가운데 가장 강력한 평가 루프를 갖췄지만, 법무팀이 따져 보고 싶어 할 라이선스와 소유주를 안고 있습니다.
추천 대상: 노트북에서 시작해 강력한 평가 루프를 갖춘 표준 기반 트레이싱을 원하는 엔지니어와 데이터 과학자.
가격: Elastic License 2.0으로 자체 호스팅은 무료입니다(소스 공개, 타인을 위한 서비스 호스팅 금지). 관리형 Arize AX: Free(월 25k 스팬, 15일 보존, 1 GB), Pro 월 $50(50k 스팬, 30일, 10 GB), Enterprise 별도 견적.
Arize Phoenix 리뷰 읽기
4.2/5
7
PyRIT
PyRIT는 챗봇을 무너뜨리는 느리고 점점 수위를 높이는 대화를 자동화합니다. 단, 팀의 누군가가 이를 구동하는 Python을 써야 합니다.
추천 대상: 다중 턴 수위 상승과 웹 프런트엔드를 포함해 챗봇과 에이전트를 깊이 레드팀해야 하는 보안 엔지니어.
가격: MIT의 무료 오픈소스입니다. 공격과 LLM 기반 채점기가 쓰는 모델 호출 비용을 냅니다.
PyRIT 리뷰 읽기
4.2/5
8
NVIDIA OpenShell
옆에서 지켜보는 에이전트가 아니라 무인으로 돌려 두는 에이전트를 위해 만든 무거운 에이전트 샌드박스입니다.
추천 대상: 에이전트를 무인으로 돌리거나 신뢰할 수 없는 코드에 돌리며 호스트별, 메서드별 네트워크 규칙이 필요한 팀.
가격: Apache 2.0의 무료 오픈소스입니다.
NVIDIA OpenShell 리뷰 읽기
4.1/5
9
OpenLLMetry
표준 OpenTelemetry로 LLM 호출을 한 번 계측하고 백엔드 선택권을 유지합니다. 단, 먼저 전체 프롬프트를 Traceloop 클라우드로 보내는 기본값 두 개를 바꿔야 합니다.
추천 대상: OpenTelemetry로 표준화했으며 업체 SDK 없이 기존 관측 스택에서 LLM 트레이스를 보고 싶은 팀.
가격: Apache 2.0의 무료 오픈소스입니다. 이제 ServiceNow 소유인 Traceloop 호스팅 플랫폼: Free는 월 50,000 span까지 24시간 보존, Enterprise(SOC 2, 온프레미스)는 견적 문의입니다.
OpenLLMetry 리뷰 읽기
4.1/5
10
OpenSandbox
호스팅 코드 샌드박스에 대한 자체 호스팅 대안입니다. 자기 기기에서 수명이 짧은 에이전트 환경이 수천 개 필요하다면 Kubernetes 작업을 들일 가치가 있습니다.
추천 대상: 에이전트 평가, RL 롤아웃, 다중 테넌트 코드 실행을 운영하며 자체 인프라의 샌드박스를 원하는 플랫폼팀.
가격: Apache 2.0의 무료 오픈소스이며, 관리자가 제공하는 유료 에디션은 없습니다.
OpenSandbox 리뷰 읽기
4.1/5
11
Opik
Opik은 서버 전체를 Apache 2.0으로 내주고 가장 저렴한 호스팅 요금제를 팝니다. 하지만 자체 호스팅 빌드에는 사용자 계정이 없고 기본값으로 외부에 보고합니다.
추천 대상: 허용적 라이선스의 자체 호스팅 트레이싱 및 평가 플랫폼이나 저렴한 호스팅 플랫폼을 원하는 팀.
가격: Apache 2.0의 무료 오픈소스입니다. 클라우드: Free(월 25k span, 60일 보존), Pro 월 $19(100k span, 이후 100k당 $5, 400일 보존 추가 옵션은 100k span당 $29), Enterprise 별도 견적.
Opik 리뷰 읽기
4.1/5
12
SkillSpector
설치 앞에 둘 스킬 스캐너입니다. 단, 제공사를 바꾸거나 --no-llm을 주지 않으면 LLM 단계가 스킬 파일을 build.nvidia.com으로 보낸다는 점을 기억해야 합니다.
추천 대상: 에이전트 스킬을 설치하거나 게시하며, 보안 업체에 가입하지 않고 선택적 모델 검토가 있는 CI 정적 관문을 원하는 팀.
가격: Apache 2.0의 무료 오픈소스입니다. LLM 분석은 자신의 제공사 계정(기본은 build.nvidia.com)이나 Ollama를 통한 로컬 모델로 돕니다.
SkillSpector 리뷰 읽기
4.1/5
13
ToolHive
스캐너는 MCP 서버가 위험해 보이는지 알려 주고, ToolHive는 그것이 위험할 때 할 수 있는 일을 제한합니다.
추천 대상: 회사 전체에서 MCP 서버를 운영하고, 가두고, 감사해야 하는 플랫폼팀과 보안팀.
가격: Apache 2.0 오픈소스이며, Stacklok Enterprise가 기능과 지원을 더하고 가격은 문의입니다.
ToolHive 리뷰 읽기
4.1/5
14
NVIDIA NeMo Guardrails
NeMo Guardrails는 에이전트를 위한 가장 폭넓은 오픈 정책 계층이며, 그 폭의 대가를 설정 작업, 지연 시간, 호환성 깨짐이 가득한 변경 기록으로 받습니다.
추천 대상: 모든 모델과 도구 호출 주위에 설정 가능한 정책 계층이 필요한 에이전트나 고객 대면 도우미를 만드는 팀.
가격: Apache 2.0의 무료 오픈소스입니다. NVIDIA의 NemoGuard 모델과 NIM 마이크로서비스는 별도로 배포됩니다.
NVIDIA NeMo Guardrails 리뷰 읽기
4.0/5
15
Bifrost
무료 빌드에 예산 기능까지 갖춘 빠른 Apache 라이선스 게이트웨이지만, 2026년 9월까지 관리 API를 열어 둔 보안 기본값이 발목을 잡습니다.
추천 대상: 요청량이 많은 팀이나 Go 개발 조직 가운데, 예산 기능이 있는 Apache 라이선스 게이트웨이를 원하고 관리 API를 직접 잠글 준비가 된 곳.
가격: Apache 2.0 무료 오픈소스입니다. Enterprise는 별도 견적이며 14일 무료 체험이 있고, 가격은 공개되지 않았습니다.
Bifrost 리뷰 읽기
3.9/5
16
DeepTeam
오픈 레드팀 라이브러리 중 에이전트와 애플리케이션 취약점 목록이 가장 넓지만, 모든 판정은 사용자가 직접 확인해야 하는 LLM 심판에 기댑니다.
추천 대상: 로컬에서 실행할 수 있는 OWASP 기준 레드팀 테스트를 원하는, 에이전트를 만드는 Python 팀.
가격: Apache 2.0의 무료 오픈소스입니다. Confident AI 플랫폼은 무료 등급부터 월 $200, 월 $2,000까지 있으며, 레드팀 모듈은 별도 견적의 Enterprise 추가 기능입니다.
DeepTeam 리뷰 읽기
3.9/5
17
OpenConnector
OpenConnector는 자격 증명을 게이트웨이 뒤에 두는, Composio에 대한 믿을 만한 자체 호스팅 대안입니다. 다만 라이선스가 막 엄격해졌고, OAuth 제공사는 여전히 자체 앱 등록을 뜻합니다.
추천 대상: 폐쇄형 통합 플랫폼을 쓰지 않고 자체 호스팅 자격 증명 경계와 큰 커넥터 카탈로그를 원하는, 에이전트 제품을 만드는 팀.
가격: 자체 호스팅은 OpenConnector License(수정 Apache 2.0)로 무료입니다. OOMOL 호스팅: 월 20,000회 무료 App 도구 호출, 이후 호출당 0.0003 크레딧이며, 크레딧 가격은 공개되지 않았습니다.
OpenConnector 리뷰 읽기
3.8/5
18
Snyk Agent Scan
에이전트가 신뢰하는 MCP 서버와 스킬에 대한 합리적인 첫 점검입니다. 단, 그 설명을 Snyk으로 보내는 것을 받아들이고 신뢰할 수 없는 설정은 샌드박스에서 스캔해야 합니다.
추천 대상: 개발자나 에이전트가 MCP 서버와 스킬을 설치하게 두면서, 신뢰하기 전에 공급망 점검을 원하는 팀.
가격: Apache 2.0의 무료 오픈소스이며 Snyk 계정과 API 토큰이 필요합니다. 플릿 전체의 백그라운드 스캔은 Snyk Evo로 보고되며 가격은 문의입니다.
Snyk Agent Scan 리뷰 읽기
3.8/5
19
vLLM Semantic Router
요청마다 모델을 고르는 야심 찬 오픈 라우터로, 이미 vLLM을 운영하며 빠르게 움직이는 프로젝트를 감당할 수 있는 팀에 맞습니다.
추천 대상: 흔히 자체 vLLM 플릿에서 여러 모델을 서빙하며, 요청마다 모델을 고를 만큼 트래픽이 다양한 팀.
가격: Apache 2.0의 무료 오픈소스입니다. 호스팅 유료 서비스는 없습니다.
vLLM Semantic Router 리뷰 읽기
3.8/5
20
Cisco Skill Scanner
스킬 저장소 앞에 둘 만합니다. 다만 자체 수치를 믿는다면, 이것은 모든 것이 아니라 뻔한 것을 잡습니다.
추천 대상: 사내 스킬 저장소를 운영하며, 개발자에게 닿기 전에 검사 관문을 두려는 팀.
가격: Apache 2.0으로 무료입니다. 선택적 LLM 및 클라우드 분석기는 각 제공업체를 통해 청구됩니다.
Cisco Skill Scanner 리뷰 읽기
3.7/5
21
Portkey AI Gateway
Palo Alto Networks가 인수한 뒤 멈춰 선 깔끔한 MIT 라우터입니다. 지금 돌리기에는 괜찮지만 로드맵을 걸기는 어렵습니다.
추천 대상: 가벼운 라우팅 계층을 원하는 엣지 런타임 팀, 또는 이미 Palo Alto 보안 제품을 사는 기업.
가격: MIT의 무료 오픈소스입니다. 호스팅 요금제: Developer 무료(월 10,000개 기록 로그, 로그 보존 3일), Production 월 $49(100,000개 로그, 이후 100,000개당 $9), Enterprise 별도 견적.
Portkey AI Gateway 리뷰 읽기
3.7/5
22
McpMux
같은 MCP 설정과 API 키를 클라이언트 네 개에 복사하는 일을 깔끔하게 해결하지만, 아직 젊은 프로젝트라 거의 매일 새 빌드가 나온다고 봐야 합니다.
추천 대상: 한 컴퓨터에서 여러 MCP 클라이언트를 쓰며 설정과 키를 맞추는 일에 지친 개발자에게 맞습니다.
가격: GPL-3.0의 무료 오픈소스이며, 공개된 유료 요금제는 없습니다.
McpMux 리뷰 읽기
3.6/5
23
W&B Weave
모델이 이미 Weights & Biases에 있다면 켤 만합니다. 메가바이트당 $0.10이라면 새로 시작하는 사람에게는 권하기 어렵습니다.
추천 대상: 이미 모델 학습에 Weights & Biases를 쓰며 LLM 트레이스와 평가를 같은 곳에 두고 싶은 팀.
가격: SDK는 Apache 2.0으로 무료입니다. 호스팅: Free(월 1 GB Weave 수집), Pro 월 $60부터(1.5 GB, 이후 MB당 $0.10), Enterprise 별도 견적(초과 MB당 $0.20 표시)과 전용 배포.
W&B Weave 리뷰 읽기
3.6/5
24
Free Claude Code
오해를 부르는 이름 뒤에 숨은 쓸 만한 모델 라우터입니다. 다만 인증이 꺼진 채로 네트워크 전체에서 접속을 받도록 배포됩니다.
추천 대상: 무료 모델과 로컬 모델로 Claude Code나 Codex를 돌리고 싶은 취미 개발자와 학생.
가격: AGPL-3.0 무료 오픈소스입니다. 모델 비용은 연결하는 제공업체에 따라 다르며, 상당수는 속도 제한이 있는 무료 등급을 제공합니다.
Free Claude Code 리뷰 읽기
3.4/5
25
Guardrails AI
아이디어는 건전하지만 주인이 없어졌습니다. Apache 2.0 코드는 여전히 돌아가지만 수정을 병합하는 사람이 없고 호스팅 기능은 사라졌습니다.
추천 대상: 결정적 validator를 쓰고 있고 버전을 고정해 직접 패치할 수 있는 기존 사용자.
가격: Apache 2.0 라이선스의 무료 오픈소스입니다. 호스팅 Hub 레지스트리와 무료 원격 추론은 2026년 8월 25일에 종료되었습니다.
Guardrails AI 리뷰 읽기
3.2/5