본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

OpenLIT

LLM 앱과 코딩 에이전트를 위한 자체 호스팅형, OpenTelemetry 네이티브 트레이싱, 평가, 가드레일, GPU 모니터링입니다. Apache 2.0.

리뷰어: ReviewRamble editors · 업데이트

GitHub에서 보기 오픈 소스

이 페이지 공유:XLinkedInFacebookRedditWhatsApp이메일

평점

3.9/5

처음부터 끝까지 OpenTelemetry이고 Langfuse에 없는 GPU 모니터링도 있지만, 커뮤니티가 작고 퀵스타트 기본값은 다른 사람이 접근하기 전에 바꿔야 합니다.

OpenLIT의 개요

OpenLIT는 두 부분으로 이루어집니다. LLM 제공자, 에이전트 프레임워크, 벡터 데이터베이스를 표준 OpenTelemetry 스팬으로 자동 계측하는 SDK와, 이를 ClickHouse에 저장해 트레이스, 비용, 대시보드를 보여 주는 자체 호스팅 플랫폼입니다. Python이나 TypeScript에서 openlit.init()를 한 번 호출하면 계측이 시작되며 Go SDK도 있습니다. 플랫폼 자체 수신기가 포트 4317과 4318에서 OTLP를 받으므로 별도 Collector가 필요 없고, 같은 스팬을 Grafana, Datadog 등 다른 OTLP 백엔드로 보낼 수도 있습니다.

트레이싱 외에도 LLM-as-a-judge 및 프로그래밍 방식 평가, 프롬프트 인젝션과 금지 주제에 대한 가드레일, 버전 관리되는 Prompt Hub, API 키용 Vault, OpenGround라는 모델 나란히 비교 도구, 규칙 엔진, NVIDIA, AMD, Intel 카드용 GPU 수집기를 제공합니다. CLI는 Claude Code, Codex, Cursor, OpenCode에 연결되어 코드 변경 없이 코딩 에이전트 세션을 추적합니다.

커뮤니티 에디션은 Apache 2.0이며 사용 제한이 없습니다. 사용자 정의 역할, 감사 로그, 이벤트 알림, 알림 커넥터, GPU 플릿 페이지는 별도로 빌드된 Enterprise 에디션에 있고, 조직 단위로 라이선스되며 가격은 공개되지 않았습니다. 호스팅 클라우드는 출시 예정으로 표시되어 있습니다. 플랫폼 버전 2.2.0은 2026년 11월 19일에 나왔습니다.

OpenLIT, 쓸 만한 가치가 있습니까?

OpenLIT의 주장은 LLM 텔레메트리가 첫 스팬부터 평범한 OpenTelemetry여야 한다는 것입니다. SDK는 gen_ai.* 시맨틱 규약을 내보내고, 서버는 OTLP를 직접 받으며, 같은 데이터를 Grafana나 Datadog으로 보내는 것도 막지 않습니다. 기존 OpenTelemetry 파이프라인이 있거나 자체 모델을 GPU에서 돌리는 팀은 대부분의 경쟁 제품보다 기본으로 더 많은 것을 얻습니다. GPU 사용률, 메모리, 전력, 온도가 그 영향을 받는 트레이스 옆에 표시됩니다.

당연한 비교 대상인 Langfuse와 견주면 폭과 성숙도를 맞바꾸는 셈입니다. 둘 다 ClickHouse 위에서 무료로 자체 호스팅할 수 있고, 둘 다 감사 로그와 사용자 정의 역할을 유료 에디션에 둡니다. Langfuse는 GitHub 스타가 약 36,500개로 OpenLIT의 3,093개보다 많고, 단위당 가격을 공개한 호스팅 클라우드와 더 깊은 데이터셋, 주석, 실험 도구를 갖췄습니다. OpenLIT는 아직 클라우드가 없고 Enterprise 가격도 공개하지 않으며, 자체 비교 페이지에서도 사람의 주석 작업과 평가 UI에서 Langfuse가 앞선다고 인정합니다. OpenLIT가 더하는 것은 GPU 모니터링, 가드레일, 시크릿 Vault, 코딩 에이전트 트레이싱을 한 설치에서 쓸 수 있다는 점입니다.

주의할 점: 퀵스타트 기본값은 외부에 노출하기에 안전하지 않습니다. Docker Compose는 ClickHouse를 포트 9000과 8123에 비밀번호 OPENLIT로 공개하고, 대시보드는 user@openlit.io와 openlituser로 열리며, OTLP 수신기는 API 키 없이 보낸 스팬도 저장합니다. 익명 사용 지표는 TELEMETRY_ENABLED=false를 설정할 때까지 PostHog로 전송됩니다. 2026년 2월 프로젝트는 자체 CI 시크릿을 노출한 GitHub Actions 워크플로에 대한 심각 등급 보안 권고를 게시했습니다. 대상은 빌드 파이프라인이었고 배포된 인스턴스는 아니었습니다.

결론: OpenLIT는 이미 OpenTelemetry로 생각하고 자체 GPU를 운영하는 팀에 맞습니다. 주로 프롬프트 실험과 사람의 검토를 원하는 팀에게는 Langfuse가 더 완성도 있게 느껴질 것입니다.

제 역할을 하는 곳

  • GPU 8장에서 vLLM으로 Llama 모델을 서빙하는 MLOps 엔지니어

    느리거나 비싼 요청을 그 시점의 하드웨어 상태와 연결하기

    각 노드에서 OpenLIT GPU 수집기를 실행하고 서빙 앱에서 openlit.init()을 호출하면, 사용률, 메모리, 온도가 요청 트레이스와 함께 ClickHouse에 쌓입니다. 라이선스 비용은 없지만 GPU 플릿 페이지 자체는 Enterprise가 필요합니다.

  • Claude Code와 Cursor를 쓰는 개발자 30명 규모 회사의 엔지니어링 매니저

    코딩 에이전트가 토큰을 얼마나 쓰고 어떤 파일을 건드리는지 보기

    openlit CLI를 설치하고 각 컴퓨터에서 자체 호스팅 인스턴스를 가리키도록 openlit coding install --vendor=all을 실행합니다. 세션, 도구 호출, 토큰, 비용이 Coding Agents 대시보드에 나타나며 에이전트 설정은 바꾸지 않아도 됩니다.

  • 이미 Grafana Tempo로 트레이스를 보내는 플랫폼 팀

    기존 파이프라인을 바꾸지 않고 LLM 전용 화면 추가하기

    OpenTelemetry Collector를 유지하고 OTLP를 Tempo와 포트 4318의 OpenLIT 수신기 양쪽으로 나눠 보냅니다. OpenLIT는 비용, 토큰, 평가 화면을 더하고, Tempo는 서비스 전체 상황을 계속 보여 줍니다.

도입 전 확인할 점

설정
git clone과 docker compose up -d로 OpenLIT, ClickHouse, NATS가 시작되며, Kubernetes는 Helm 차트로 다룹니다. 외부에 노출하기 전에 ClickHouse 비밀번호, NATS 비밀번호, 대시보드 기본 로그인을 바꾸고 스팬은 API 키와 함께 보내세요.
연동
LLM 제공자, 에이전트 프레임워크, 벡터 데이터베이스에 걸친 70개 이상의 자동 계측, Grafana, Datadog, New Relic, SigNoz 등 모든 OTLP 백엔드로 내보내기, 무료 에디션에서도 Google, GitHub, Microsoft, Okta 로그인 지원.
데이터와 개인정보
트레이스는 사용자의 ClickHouse에 남습니다. 익명 제품 사용 지표(프롬프트나 스팬 내용 제외)는 기본적으로 PostHog로 전송되며, TELEMETRY_ENABLED=false로 끌 수 있고 앱 안의 스위치는 없습니다.
대규모 사용 시 비용
커뮤니티 에디션은 라이선스 비용도 트레이스당 요금도 없으며, 비용은 트레이스 양에 맞춘 ClickHouse 운영입니다. Enterprise 가격은 공개되지 않았습니다.
제한
열린 이슈 104건, 호스팅 클라우드 미출시, API 키 없이 보낸 스팬은 저장되지만 평가되지 않음, Python SDK 1.45.0과 플랫폼 2.2.0은 버전이 따로 관리됩니다.

좋은 점

  • 처음부터 끝까지 OpenTelemetry 네이티브, OTLP 수신기 내장
  • NVIDIA, AMD, Intel GPU 모니터링을 트레이스와 함께 제공
  • 가드레일, Vault, 코딩 에이전트 트레이싱이 무료 에디션에 포함
  • Python, TypeScript, Go SDK와 70개 이상의 자동 계측 통합

아쉬운 점

  • 퀵스타트에 기본 ClickHouse 비밀번호와 대시보드 로그인
  • 호스팅 클라우드가 없고 Enterprise 가격 비공개
  • Langfuse나 Phoenix보다 작은 커뮤니티
  • 감사 로그와 사용자 정의 역할은 Enterprise 전용

추천 대상

이미 OpenTelemetry를 쓰는 플랫폼 팀, 특히 자체 모델을 GPU에서 서빙하며 LLM 트레이싱, 평가, 하드웨어 지표를 하나의 자체 호스팅 스택에 담고 싶은 팀.

OpenLIT 대안

OpenLIT: 자주 묻는 질문

OpenLIT, 쓸 만한 가치가 있습니까?
처음부터 끝까지 OpenTelemetry이고 Langfuse에 없는 GPU 모니터링도 있지만, 커뮤니티가 작고 퀵스타트 기본값은 다른 사람이 접근하기 전에 바꿔야 합니다. 평점은 5점 만점에 3.9점입니다.
OpenLIT의 가격은 얼마입니까?
커뮤니티 에디션은 Apache 2.0으로 무료이며 사용 제한이 없습니다. Enterprise(RBAC, 감사 로그, 이벤트 알림, 프리미엄 커넥터)는 조직 단위로 문의 시 가격 안내, 호스팅 클라우드는 아직 제공되지 않습니다.
OpenLIT의 단점은 무엇입니까?
퀵스타트에 기본 ClickHouse 비밀번호와 대시보드 로그인; 호스팅 클라우드가 없고 Enterprise 가격 비공개; Langfuse나 Phoenix보다 작은 커뮤니티; 감사 로그와 사용자 정의 역할은 Enterprise 전용.
OpenLIT에 적합한 사람은 누구입니까?
이미 OpenTelemetry를 쓰는 플랫폼 팀, 특히 자체 모델을 GPU에서 서빙하며 LLM 트레이싱, 평가, 하드웨어 지표를 하나의 자체 호스팅 스택에 담고 싶은 팀.
팀이나 프로덕션 환경에서 OpenLIT의 비용은 얼마입니까?
커뮤니티 에디션은 라이선스 비용도 트레이스당 요금도 없으며, 비용은 트레이스 양에 맞춘 ClickHouse 운영입니다. Enterprise 가격은 공개되지 않았습니다.
OpenLIT에 회사 데이터를 맡겨도 안전합니까?
트레이스는 사용자의 ClickHouse에 남습니다. 익명 제품 사용 지표(프롬프트나 스팬 내용 제외)는 기본적으로 PostHog로 전송되며, TELEMETRY_ENABLED=false로 끌 수 있고 앱 안의 스위치는 없습니다.
OpenLIT의 가장 좋은 대안은 무엇입니까?
저희가 리뷰한 것 중 가장 가까운 대안은 Langfuse, Arize Phoenix 및 OpenLLMetry입니다.

답변 확인일: 2026년 11월 20일.