관측성 및 트레이싱

확인할 점

선택지를 가르는 질문을 중요한 순서대로 정리했습니다.

1. 01

   들어오고 나가는 OpenTelemetry

   계측은 바꾸는 비용이 비싼 부분이므로, 표준 OpenTelemetry 스팬을 내보내고 백엔드는 교체할 수 있게 두십시오. 도구가 OpenTelemetry를 받는지(Langfuse, Opik, LangSmith, Braintrust, Weave 모두 받습니다), 그 위에 만들어졌는지(OpenInference를 쓰는 Arize Phoenix), 어떤 LLM 속성 규약을 가장 잘 읽는지 확인하십시오. OpenInference와 OpenLLMetry의 규약이 모두 OpenTelemetry 생태계에 있습니다.

2. 02

   자체 호스팅인가 SaaS인가, 라이선스가 허용하는 것

   트레이스에는 프롬프트, 문서, 답이 담기며, 고객 데이터가 섞이는 경우가 많습니다. Langfuse(상용 ee/ 폴더가 있는 MIT 코어)와 Opik(전체 Apache 2.0)은 무료로 자체 호스팅할 수 있고, Phoenix도 가능하지만 Elastic License 2.0은 다른 사람에게 호스팅 서비스로 제공하는 것을 금지합니다. LangSmith, Braintrust, Weave는 자체 호스팅을 Enterprise 계약에만 둡니다. 자체 호스팅은 ClickHouse와 Postgres 같은 데이터베이스를 운영한다는 뜻이니 운영 시간도 비용에 넣으십시오.

3. 03

   보존 기간과 개인정보 제어

   무료 클라우드 등급은 데이터를 14에서 60일 보관하며, 더 긴 보존은 거의 모든 곳에서 유료 추가 기능입니다. LangSmith는 2026년 9월 확장 트레이스 보존을 180일로 줄였습니다. 프롬프트에 개인정보가 담긴다면 업로드 전 클라이언트 쪽 가림 처리(Braintrust의 SDK가 지원합니다), 서버 쪽 마스킹(Langfuse에서는 유료), 프로젝트별 보존 정책을 확인하고, 데이터 처리 계약이 그 업체를 포함하는지 확인하십시오.

4. 04

   사용자와 기능별 비용 추적

   대부분의 팀은 관측성으로 어떤 비용을 줄일지 찾습니다. 도구가 스팬마다 토큰 수와 비용을 기록하는지, 캐시된 토큰을 포함해 모델 가격을 정확히 매기는지, 지출을 사용자, 기능, 태그별로 묶을 수 있는지 확인하십시오. 이미 게이트웨이를 통해 호출을 보낸다면, 별도의 트레이서 없이 게이트웨이의 지출 로그로 충분할 수 있습니다.

5. 05

   청구 방식

   가격 단위가 달라서 견적을 비교하기 어렵습니다. Langfuse는 unit, Opik과 Arize는 스팬, LangSmith는 트레이스와 좌석, Braintrust는 처리한 기가바이트와 점수, Weave는 작은 허용량을 넘는 수집을 메가바이트 단위로 청구합니다. 고르기 전에 큰 프롬프트와 도구 출력을 포함한 현실적인 한 달 트래픽을 각 업체의 단위로 추정하십시오.

6. 06

   같은 곳에 있는 평가와 프롬프트 관리

   가장 좋은 피드백 루프는 나쁜 운영 트레이스를 데이터셋 항목과 회귀 테스트로 바꿉니다. Langfuse, Opik, Phoenix, LangSmith, Braintrust는 모두 트레이싱을 데이터셋, LLM 판정자 채점, 프롬프트 버전 관리와 결합합니다. OpenLLMetry는 계측만 하므로 그 모든 것을 위한 백엔드가 필요합니다.

7. 07

   에이전트를 이해하는 트레이스 보기

   에이전트 트레이스는 모델 호출, 도구 호출, 하위 에이전트로 이뤄진 깊은 트리입니다. 평평한 스팬만이 아니라 세션과 턴을 보여 주는 보기, 그리고 쓰는 프레임워크와의 네이티브 연동을 찾으십시오. LangGraph에는 LangSmith, OpenAI Agents SDK, Claude Agent SDK, Google ADK에는 Weave의 한 줄 패치가 있고, Langfuse와 Phoenix는 폭넓은 프레임워크를 지원합니다.

8. 08

   소유권과 로드맵 위험

   여기 있는 거의 모든 업체가 최근 주인이 바뀌었습니다. ClickHouse가 Langfuse를, Dynatrace가 Arize를, ServiceNow가 Traceloop을 샀고, CoreWeave는 Weights & Biases를 소유하며 Agent Lens를 Weave의 후속작이라 부르고, Helicone은 Mintlify에 인수된 뒤 유지 관리 모드에 들어갔습니다. 표준 계측이 이에 대한 대비책입니다.

도구 11개 비교

저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.

관측성 및 트레이싱 도구 비교

도구	평점	저희 평가	추천 대상	가격
Langfuse저장소	4.6/5	완전히 소유할 수 있는, 프레임워크에 중립적인 LLM 트레이싱입니다. 무료 자체 호스팅 빌드가 거의 모든 것을 다루고, 클라우드는 유닛 단위까지 가격이 매겨져 있습니다.	무료로 자체 호스팅하거나 합리적인 가격의 클라우드 서비스로 살 수 있는, 프레임워크 중립적 트레이싱과 평가를 원하는 팀.	ee/ 폴더가 상용 라이선스인 것을 제외하면 MIT 라이선스의 무료 오픈소스입니다. Cloud: Hobby 무료(월 50k 유닛), Core 월 $29, Pro 월 $199(Teams 추가 기능 +$300), Enterprise 월 $2,499이며, 초과분은 100k 유닛당 $8이고 50M을 넘으면 $6로 내려갑니다.
MLflow저장소	4.4/5	여전히 ML 실험을 기록하는 기본 장소이며, 이제 LLM 트레이싱과 평가까지 무료로 딸려 옵니다. 다른 사람이 접근하기 전에 서버부터 잠그십시오.	모델을 학습하고 LLM 기능도 만들며, 둘 모두를 위한 무료 자체 호스팅 기록 시스템을 원하는 Python 팀.	Apache-2.0의 무료 오픈소스이며 서버, 데이터베이스, 객체 스토리지 비용만 냅니다. Databricks의 관리형 MLflow는 별도 정가 없이 Databricks 연산으로 청구되며, Free Edition은 개인 용도 전용입니다.
Braintrust도구	4.3/5	Braintrust는 마지막 변경이 제품을 더 좋게 만들었는지가 가장 어려운 질문인 팀을 위한 도구입니다. 사람이 아니라 데이터로 과금하므로 큰 팀에는 맞고, 로그를 많이 남기는 에이전트에는 아픕니다.	호스팅 추적과 함께 평가 중심 개발을 원하고 관리형 서비스에 기꺼이 돈을 내는 제품팀.	Starter 무료(데이터 1 GB, 점수 10k, 모델 크레딧 $10, 14일 보관, 사용자 무제한. 이후 GB당 $4, 점수 1,000개당 $2.50). Pro 월 $249(5 GB, 점수 50k, 모델 크레딧 $100, 30일 보관. 이후 GB당 $3, 점수 1,000개당 $1.50). Enterprise 맞춤, SAML, BAA, 자체 호스팅 데이터 플레인 포함. 자격을 갖춘 스타트업은 6~12개월 동안 Pro 무료.
Arize Phoenix저장소	4.2/5	Phoenix는 공개 트레이싱 도구 가운데 가장 강력한 평가 루프를 갖췄지만, 법무팀이 따져 보고 싶어 할 라이선스와 소유주를 안고 있습니다.	노트북에서 시작해 강력한 평가 루프를 갖춘 표준 기반 트레이싱을 원하는 엔지니어와 데이터 과학자.	Elastic License 2.0으로 자체 호스팅은 무료입니다(소스 공개, 타인을 위한 서비스 호스팅 금지). 관리형 Arize AX: Free(월 25k 스팬, 15일 보존, 1 GB), Pro 월 $50(50k 스팬, 30일, 10 GB), Enterprise 별도 견적.
LangSmith도구	4.2/5	LangSmith는 LangGraph 에이전트를 위한 가장 깊고 성숙한 추적과 평가를 갖췄으며, 예산이 큰 소규모 팀에 유리한 가격으로 좌석 단위로 팝니다.	LangChain이나 LangGraph로 운영 에이전트를 만들며 호스팅 추적, 평가, 배포를 한 업체에서 원하는 팀.	Developer 무료(좌석 1개, 월 기본 트레이스 5,000개). Plus 좌석당 월 $39(기본 트레이스 10,000개, 이후 종량제, 소형 서버리스 배포 1개). Enterprise 맞춤 견적, 하이브리드나 자체 호스팅 옵션. 기본 트레이스 14일, 확장 트레이스 180일 보관.
Opik저장소	4.1/5	Opik은 서버 전체를 Apache 2.0으로 내주고 가장 저렴한 호스팅 요금제를 팝니다. 하지만 자체 호스팅 빌드에는 사용자 계정이 없고 기본값으로 외부에 보고합니다.	허용적 라이선스의 자체 호스팅 트레이싱 및 평가 플랫폼이나 저렴한 호스팅 플랫폼을 원하는 팀.	Apache 2.0의 무료 오픈소스입니다. 클라우드: Free(월 25k span, 60일 보존), Pro 월 $19(100k span, 이후 100k당 $5, 400일 보존 추가 옵션은 100k span당 $29), Enterprise 별도 견적.
Arize AX도구	4.1/5	Arize AX는 개방형 계측 위에서 본격적인 에이전트 추적과 평가를 제공합니다. 다만 저렴한 요금제는 금방 바닥나고, 로드맵은 이제 Dynatrace의 손에 있습니다.	운영 중인 에이전트에 개방적이고 이식 가능한 계측 기반의 호스팅 추적과 평가를 원하며, Enterprise 계약을 협상할 수 있는 엔지니어링 팀.	AX Free $0(월 25,000 스팬, 1 GB, 15일 보관). AX Pro 월 $50(50,000 스팬, 10 GB, 30일 보관). Enterprise는 맞춤형으로 SSO, HIPAA, 자체 호스팅 포함. 모든 요금제에서 사용자 수 무제한.
OpenLLMetry저장소	4.1/5	표준 OpenTelemetry로 LLM 호출을 한 번 계측하고 백엔드 선택권을 유지합니다. 단, 먼저 전체 프롬프트를 Traceloop 클라우드로 보내는 기본값 두 개를 바꿔야 합니다.	OpenTelemetry로 표준화했으며 업체 SDK 없이 기존 관측 스택에서 LLM 트레이스를 보고 싶은 팀.	Apache 2.0의 무료 오픈소스입니다. 이제 ServiceNow 소유인 Traceloop 호스팅 플랫폼: Free는 월 50,000 span까지 24시간 보존, Enterprise(SOC 2, 온프레미스)는 견적 문의입니다.
Datadog LLM Observability도구	4.0/5	회사가 이미 Datadog에서 살고 있다면 에이전트를 지켜보기에 합리적인 곳입니다. 모델 호출당 과금도 처음 보기보다 공정합니다.	이미 Datadog을 운영하며 에이전트 트레이스를 서비스 및 인프라 모니터링 옆에 두고 싶은 엔지니어링 팀.	Free는 월 40K LLM 스팬까지, 15일 보관. Pro는 100K LLM 스팬에 연간 월 $160, 월간 $200, 온디맨드 $240부터. 이후 10K LLM 스팬당 $3.50(연간), $4.20(월간), $5(온디맨드). 보관 애드온은 30, 60, 90일에 대해 월 10K 스팬당 $6.50, $8, $9로 표시. LLM 스팬만 청구.
Splunk Agent Observability도구	3.7/5	Galileo의 작은 판정 모델 덕분에 모든 에이전트 대화를 싸게 채점할 수 있지만, Splunk 아래에서는 영업 상담이 앞에 놓인 기업용 구매가 되었습니다.	모든 에이전트 대화를 채점하고 런타임에 위험한 행동을 막고 싶은, 이미 Splunk Observability를 쓰는 대규모 조직.	Agent Observability는 연간 결제로 연 1.2M span당 월 $100부터이며, 연 Luna 토큰 500M개와 Luna 파인튜닝 5회가 포함됩니다. 추가 Luna 토큰과 더 긴 보관은 견적제입니다. Splunk Observability Cloud Free Edition(최대 15호스트, 만료 없음)에 에이전트 추적이 포함됩니다. Galileo의 예전 Free(월 5,000트레이스)와 Pro(연간 결제 월 $100, 50,000트레이스) 요금제는 더 이상 공개되지 않습니다.
W&B Weave저장소	3.6/5	모델이 이미 Weights & Biases에 있다면 켤 만합니다. 메가바이트당 $0.10이라면 새로 시작하는 사람에게는 권하기 어렵습니다.	이미 모델 학습에 Weights & Biases를 쓰며 LLM 트레이스와 평가를 같은 곳에 두고 싶은 팀.	SDK는 Apache 2.0으로 무료입니다. 호스팅: Free(월 1 GB Weave 수집), Pro 월 $60부터(1.5 GB, 이후 MB당 $0.10), Enterprise 별도 견적(초과 MB당 $0.20 표시)과 전용 배포.

사양 비교

이 단계에서 중요한 사양입니다. 2026년 10월 23일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.

에이전트에 연결하기

Claude, ChatGPT, Cursor 같은 어시스턴트가 이 도구를 직접 쓸 수 있게 해 주는 MCP 서버입니다.

• Sentry MCP 4.3
• Grafana MCP Server 4.3

이 단계가 쓰이는 곳

• 문서와 대화하기: Langfuse부터 시작하겠습니다.
• 고객 지원 에이전트: LangSmith부터 시작하겠습니다.
• 코딩 에이전트: Langfuse부터 시작하겠습니다.
• 리서치 및 지식 그래프: Arize Phoenix부터 시작하겠습니다.
• 장기 메모리를 갖춘 어시스턴트: Langfuse부터 시작하겠습니다.
• 음성 에이전트: Langfuse부터 시작하겠습니다.
• 문서 처리: Opik부터 시작하겠습니다.
• 직접 파인튜닝한 모델: Langfuse부터 시작하겠습니다.
• 워크플로 자동화: Langfuse부터 시작하겠습니다.

이 가이드의 출처

• Langfuse pricing
• Langfuse self-hosting pricing
• Opik on GitHub
• Arize Phoenix on GitHub
• Dynatrace completes acquisition of Arize
• LangChain pricing
• Braintrust pricing
• CoreWeave Forge pricing
• OpenLLMetry on GitHub
• ServiceNow expands AI Control Tower (Traceloop acquisition)
• Helicone is joining Mintlify