OpenLLMetry의 개요
OpenLLMetry는 LLM 호출을 표준 span으로 기록하는 OpenTelemetry 확장 모음입니다. OpenAI와 Azure OpenAI, Anthropic, AWS Bedrock과 SageMaker, Google Gemini와 Vertex AI, Cohere, Mistral, Groq, Ollama, Hugging Face 같은 모델 제공사, Chroma, Pinecone, Qdrant, Milvus, Weaviate 같은 벡터 데이터베이스, LangGraph, CrewAI, OpenAI Agents SDK 같은 에이전트 프레임워크, 그리고 MCP를 계측합니다. Traceloop SDK로 한 줄이면 설정되며, 이미 OpenTelemetry를 쓰는 팀은 개별 계측만 추가할 수도 있습니다.
백엔드는 아닙니다. 트레이스는 어떤 OpenTelemetry 목적지로든 가며, README는 Datadog, Grafana, Honeycomb, New Relic, Dynatrace, Splunk, Sentry, Braintrust, 평범한 OpenTelemetry Collector를 포함해 테스트된 목적지 24개를 나열합니다. 프로젝트는 LLM span에 대한 자신의 시맨틱 컨벤션이 이제 OpenTelemetry의 일부라고 말합니다. JavaScript와 TypeScript는 별도 저장소가 다룹니다.
Traceloop이 만들고 Apache 2.0 라이선스이며, 버전 0.62.4가 2026년 9월 29일에 나왔습니다. ServiceNow는 2026년 3월 Traceloop 인수를 발표하고 5월 5일 완료됐다고 밝혔으며, 호스팅 제품을 AI Control Tower에 통합했습니다.
OpenLLMetry, 쓸 만한 가치가 있습니까?
OpenLLMetry는 종속 문제를 올바른 계층에서 해결합니다. 업체 SDK를 도입하는 대신 표준 OpenTelemetry span을 내보내 이미 비용을 내는 관측 도구로, 또는 Langfuse, Braintrust, Phoenix로 보내며, 나중에 애플리케이션 코드를 건드리지 않고 마음을 바꿀 수 있습니다. GitHub 스타는 약 7,500개이 지만 이 숫자는 영향력을 과소평가합니다. Haystack과 LlamaIndex 같은 프레임워크가 이를 자신의 트레이싱 경로로 문서화합니다.
기본값은 한 줄 설정이 주는 인상보다 자세히 볼 필요가 있습니다. 내보내기를 지정하지 않고 Traceloop.init()을 호출하면 트레이스를 api.traceloop.com으로 보내고 API 키를 자동 생성하며, 개인정보 문서에 따르면 프롬프트, 완성 결과, 임베딩이 기본적으로 span 속성에 기록됩니다. 따라서 Datadog에 보내려고 설치한 팀이 첫날부터 고객 프롬프트를 제3자에게 보낼 수 있습니다. TRACELOOP_BASE_URL이나 사용자 정의 내보내기를 설정하고, 내용이 민감한 곳에서는 TRACELOOP_TRACE_CONTENT=false를 설정하면 둘 다 해결됩니다. SDK 자체는 v0.49.2부터 텔레메트리 수집을 멈췄습니다.
그것만으로는 아무것도 저장하지 않고 보여 주지 않습니다. 트레이스 뷰어도, 비용 대시보드도, 평가도 없습니다. Langfuse나 Phoenix 같은 LLM 인식 백엔드는 프롬프트를 불투명한 속성으로 보여 줄 수 있는 범용 APM 도구보다 span을 훨씬 잘 활용합니다. Arize의 경쟁 컨벤션 OpenInference도 공존합니다. 2026년 6월 16일 OpenTelemetry는 OpenInference의 계측 코드를 기증받았지만 컨벤션은 받지 않았고, 백엔드마다 어느 쪽을 더 잘 읽는지가 다릅니다.
장기적인 질문은 소유권입니다. ServiceNow는 AI Control Tower를 위해 Traceloop을 샀고, 호스팅 무료 등급은 데이터를 24시간만 보관해 Enterprise로 이끄는 깔때기로 읽힙니다. 계측은 Apache 2.0이고 이식 가능하므로, 현실적인 위험은 라이선스 변경이 아니라 제공사가 API를 바꿀 때 유지보수가 느려지는 것입니다.
제 역할을 하는 곳
이미 Datadog 비용을 내는 소매업체의 SRE팀
스택의 나머지와 나란히 LLM 지연 시간, 오류, 토큰 수 보기
pip install traceloop-sdk 후 OTLP 내보내기를 Datadog 에이전트로 향하게 해 Traceloop.init()을 호출하고, 프롬프트에 고객 데이터가 있다면 TRACELOOP_TRACE_CONTENT=false를 설정합니다. 새 업체 청구서는 없고, Datadog이 늘어난 span에 평소 요금을 매깁니다.
LLM 서비스 다섯 개의 트레이싱을 표준화하는 플랫폼 엔지니어
한 번 계측하고 백엔드를 바꿀 선택지 유지하기
기존 OpenTelemetry 구성에 opentelemetry-instrumentation-openai와 -anthropic 패키지만 추가하고, Collector로 내보내, LLM 디버깅용 Langfuse와 대시보드용 Grafana로 나눠 보냅니다.
20명 규모 스타트업의 엔지니어링 책임자
아직 플랫폼 비용을 내지 않고 LLM 관측 얻기
Traceloop 호스팅 Free 등급은 월 50,000 span까지이며 LLM이나 벡터 호출 하나가 하나로 계산되고 보존은 24시간입니다. OpenLLMetry 뒤에 자체 호스팅 Langfuse나 Phoenix를 두면 작은 서버 비용으로 더 긴 기록을 남깁니다.
도입 전 확인할 점
- 설정
- pip install traceloop-sdk와 Traceloop.init() 한 줄, 또는 기존 OpenTelemetry 구성에 개별 opentelemetry-instrumentation-* 패키지를 추가합니다. 내보내기를 설정하면 몇 분 안에 트레이스가 나타납니다.
- 연동
- 모델 제공사 16개, 벡터 데이터베이스 7개, LangChain, LangGraph, LlamaIndex, CrewAI, Agno, OpenAI Agents를 포함한 프레임워크, MCP, 테스트된 목적지 24개. JavaScript 이식판이 있습니다.
- 데이터와 개인정보
- Apache 2.0. 프롬프트, 완성 결과, 임베딩이 기본적으로 수집되며(TRACELOOP_TRACE_CONTENT=false로 끔), 다른 엔드포인트를 설정하지 않으면 SDK가 api.traceloop.com으로 내보냅니다. v0.49.2부터 SDK 텔레메트리는 없고, 공개된 GitHub 보안 권고도 없습니다.
- 대규모 사용 시 비용
- 라이브러리는 무료이고 비용은 백엔드입니다. Traceloop Free는 월 50,000 span에 24시간 보존이며 Enterprise는 견적제입니다. Datadog, Honeycomb, 자체 호스팅 Langfuse를 쓰면 그쪽의 span이나 호스팅 요금을 냅니다.
- 제한
- 열린 이슈와 풀 리퀘스트 약 800개. 제공사 SDK가 바뀔 때 계측이 깨짐. 범용 APM 도구는 LLM 전용 백엔드보다 span 속성을 잘 보여 주지 못함.
좋은 점
- 업체 종속 없는 표준 OpenTelemetry span
- 대부분의 제공사, 벡터 데이터베이스, 에이전트 프레임워크를 계측
- 테스트된 백엔드 24개
- v0.49.2부터 SDK 텔레메트리 없음
아쉬운 점
- 기본값이 프롬프트 내용을 포함한 트레이스를 Traceloop 클라우드로 보냄
- 백엔드가 아니므로 목적지가 필요
- OpenInference와 경쟁하는 시맨틱 컨벤션
- 소유자가 이제 ServiceNow
추천 대상
OpenTelemetry로 표준화했으며 업체 SDK 없이 기존 관측 스택에서 LLM 트레이스를 보고 싶은 팀.
OpenLLMetry 대안
OpenLLMetry: 자주 묻는 질문
- OpenLLMetry, 쓸 만한 가치가 있습니까?
- 표준 OpenTelemetry로 LLM 호출을 한 번 계측하고 백엔드 선택권을 유지합니다. 단, 먼저 전체 프롬프트를 Traceloop 클라우드로 보내는 기본값 두 개를 바꿔야 합니다. 평점은 5점 만점에 4.1점입니다.
- OpenLLMetry의 가격은 얼마입니까?
- Apache 2.0의 무료 오픈소스입니다. 이제 ServiceNow 소유인 Traceloop 호스팅 플랫폼: Free는 월 50,000 span까지 24시간 보존, Enterprise(SOC 2, 온프레미스)는 견적 문의입니다.
- OpenLLMetry의 단점은 무엇입니까?
- 기본값이 프롬프트 내용을 포함한 트레이스를 Traceloop 클라우드로 보냄; 백엔드가 아니므로 목적지가 필요; OpenInference와 경쟁하는 시맨틱 컨벤션; 소유자가 이제 ServiceNow.
- OpenLLMetry에 적합한 사람은 누구입니까?
- OpenTelemetry로 표준화했으며 업체 SDK 없이 기존 관측 스택에서 LLM 트레이스를 보고 싶은 팀.
- 팀이나 프로덕션 환경에서 OpenLLMetry의 비용은 얼마입니까?
- 라이브러리는 무료이고 비용은 백엔드입니다. Traceloop Free는 월 50,000 span에 24시간 보존이며 Enterprise는 견적제입니다. Datadog, Honeycomb, 자체 호스팅 Langfuse를 쓰면 그쪽의 span이나 호스팅 요금을 냅니다.
- OpenLLMetry에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0. 프롬프트, 완성 결과, 임베딩이 기본적으로 수집되며(TRACELOOP_TRACE_CONTENT=false로 끔), 다른 엔드포인트를 설정하지 않으면 SDK가 api.traceloop.com으로 내보냅니다. v0.49.2부터 SDK 텔레메트리는 없고, 공개된 GitHub 보안 권고도 없습니다.
- OpenLLMetry의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Langfuse, Arize Phoenix 및 Opik입니다.
답변 확인일: 2026년 10월 26일.
OpenLLMetry 개발사입니까? 이 평점을 사이트에 표시하십시오
