Datadog LLM Observability의 개요
Datadog이 지금 Agent Observability로 판매하는 Datadog LLM Observability는 LLM 앱이나 에이전트의 모든 단계를 트레이스로 기록합니다. 프롬프트, 검색, 도구 호출, 지연 시간, 토큰, 비용입니다. 트레이스 위에서 관리형 및 맞춤 LLM 심사자 평가를 실행하고, 프롬프트 주입과 민감 데이터를 검사하고, 트래픽을 주제별로 묶으며, 데이터셋, 실험, 프롬프트 플레이그라운드, 사람 검토용 주석 대기열을 제공합니다.
앱은 Python이나 Node.js SDK, Java 트레이서, OpenTelemetry, HTTP API로 계측하며, SDK는 코드 변경 없이 OpenAI, Anthropic, Bedrock, LangChain, CrewAI, LiteLLM 호출을 잡아냅니다. 단독으로 살 수도 있지만, 차별점은 에이전트의 트레이스를 이미 Datadog에 있는 서비스, 인프라, 실제 사용자 세션과 연결한다는 데 있습니다.
청구는 LLM 스팬, 즉 모델 제공업체에 대한 개별 호출만 셉니다. 도구, 검색, 워크플로 단계는 무료입니다. Free 등급은 월 40,000 LLM 스팬까지 15일 보관으로 다룹니다. Pro는 연간 약정 월 $160(월간 $200, 온디맨드 $240)에 100,000 스팬부터 시작하고, 이후 10,000당 $3.50~$5입니다.
Datadog LLM Observability의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Free | Free | 월 LLM 스팬 40K까지, 15일 보관, 평가 포함 |
| Pro | From $160/month annual | 100K LLM 스팬에 월간 $200 또는 온디맨드 $240, 이후 10K LLM 스팬당 $3.50~$5 |
Free는 월 40K LLM 스팬까지, 15일 보관. Pro는 100K LLM 스팬에 연간 월 $160, 월간 $200, 온디맨드 $240부터. 이후 10K LLM 스팬당 $3.50(연간), $4.20(월간), $5(온디맨드). 보관 애드온은 30, 60, 90일에 대해 월 10K 스팬당 $6.50, $8, $9로 표시. LLM 스팬만 청구.
Datadog LLM Observability, 쓸 만한 가치가 있습니까?
고객이 챗봇이 틀린 답을 느리게 줬다고 말할 때, 원인은 프롬프트, 모델, 느린 데이터베이스, 바쁜 서버일 수 있습니다. 대부분의 AI 추적 도구는 앞의 두 가지만 봅니다.
Datadog의 도구는 에이전트가 거치는 각 단계를 기록하고 나머지 시스템과 같은 타임라인에 올리므로, 느린 답과 과부하 걸린 데이터베이스가 나란히 보입니다. 엔지니어가 이미 서버와 앱에 Datadog을 쓰고 있다면 이 연결은 추가 설정 없이 생기며, 우리가 다루는 전문 추적 도구 중 이를 따라올 것은 없습니다.
과금 방식은 예측하기 쉽습니다. 모든 도구 호출이나 검색 단계가 아니라 모델 호출에만 돈을 냅니다. 대화당 모델을 5번 호출하는 에이전트는 대화 100,000건에 500,000 스팬을 씁니다. 연간 Pro 요금제에서 월 100만 스팬은 $160에 10,000 단위 90개 × $3.50를 더해 약 $475이고, 같은 달을 온디맨드로 쓰면 약 $690입니다. 평가가 스팬 가격에 포함되어 있어 트래픽 채점에 이중으로 과금되지 않습니다.
주의할 점: Datadog에서 아낀 돈을 다른 곳에서 쓸 수 있습니다. LLM 심사자 평가는 사용자의 OpenAI, Anthropic, Bedrock, Vertex 계정에서 돌아가므로, 심사한 트레이스마다 별도의 모델 청구서가 생깁니다. 문서는 이를 줄이기 위해 예를 들어 10% 같은 표본 추출을 권합니다. 트레이스는 더 긴 보관을 사지 않으면 15일만 남으며, 30~90일 보관은 월 10,000 스팬당 $6.50~$9로 표시되어 있고, 바꾸려면 지원팀에 요청해야 합니다. 가장 좋은 가격에는 연간 약정이 필요합니다. Datadog은 인증 목록을 접근을 요청해야 하는 Trust Center에 두고 있으며, 이 제품은 미국 정부용 사이트에서는 제공되지 않습니다.
결론: 이것은 AI팀만큼이나 운영팀을 위해 고르는 추적 도구입니다. 아직 Datadog에 돈을 내지 않는 스타트업은 Langfuse나 Braintrust에서 더 많이 얻고, 이미 내고 있는 회사는 에이전트 트레이스를 다른 모든 것 옆에 두는 편이 낫습니다.
제 역할을 하는 곳
이미 Datadog APM을 쓰는 300명 규모 이커머스 기업의 SRE 팀
챗봇의 느린 답이 모델 때문인지 자체 서비스 때문인지 알아내기
챗봇 서비스에서 SDK를 켜면 트레이스가 기존 APM 스팬과 트레이스 ID를 공유하므로, 느린 답에서 바로 그 뒤의 데이터베이스나 API 호 출로 넘어갑니다. 연간 월 $160인 Pro가 첫 100,000 모델 호출을 다룹니다.
사내 HR 어시스턴트를 만드는 2인 팀
출시 전에 직원들이 무엇을 묻는지 보고 나쁜 답 잡기
Free 등급의 월 40,000 LLM 스팬이면 시범 운영에 충분합니다. 주제 묶기가 사람들이 묻는 것을 보여 주고, 자체 OpenAI 키로 표본 LLM 심사자를 돌려 약한 답을 표시합니다. 트레이스는 15일 후 사라지므로 예시는 데이터셋에 저장하십시오.
고객 메시지를 다루는 핀테크의 플랫폼 책임자
저장된 트레이스에서 계좌 번호와 개인정보 빼기
Sensitive Data Scanner가 포함되어 10,000 스팬당 1 GB를 검사하며, SDK 스팬 프로세서로 데이터가 앱을 떠나기 전에 가리거나 버릴 수 있습니다. AI 앱별 트레이스 접근은 팀 단위로 제한할 수 있습니다.
도입 전 확인할 점
- 설정
- Python이나 Node.js SDK를 설치하거나 Java 트레이서를 쓰고, Datadog API 키와 앱 이름을 설정합니다. OpenAI, Anthropic, Bedrock, LangChain, CrewAI, LiteLLM 호출은 코드 변경 없이 추적됩니다. Datadog은 대부분의 팀이 몇 분 안에 트레이스를 본다고 말합니다.
- 연동
- OpenAI, Anthropic, Gemini, Vertex AI, Bedrock. LangChain, CrewAI, Pydantic AI, LiteLLM, Strands Agents. OpenTelemetry GenAI 규약. HTTP API. 외부 평가기용 내보내기 API. NeMo. CLI와 MCP 접근.
- 데이터와 개인정보
- 트레이스는 기본 15일, 애드온으로 30, 60, 90일 보관. 데이터셋과 프롬프트는 3년, 지표는 15개월 보관. Sensitive Data Scanner와 앱별 접근 통제 포함. 인증은 접근 요청이 필요한 Trust Center에 있으며, 문서는 트레이스 데이터가 학습에 쓰이는지 말하지 않습니다.
- 대규모 사용 시 비용
- 월 100만 LLM 스팬은 더 긴 보관과 심사자 모델 자체 토큰 청구 전에 연간 Pro로 약 $475, 월간 $578, 온디맨드 $690입니다.
- 제한
- Free 등급은 보관 애드온을 살 수 없습니다. 실험 결과는 무료와 온디맨드 요금제에서 15일 보관됩니다. 이 제품은 app.ddog-gov.com이나 us2.ddog-gov.com에서 제공되지 않습니다.
좋은 점
- 에이전트 트레이스가 Datadog APM, 인프라, 실제 사용자 세션과 연결됩니다
- 모델 호출에만 과금하며 도구와 검색 단계는 무료입니다
- 월 40,000 LLM 스팬의 무료 등급
- 모든 등급에서 평가, 실험, 데이터셋, 주석
- 민감 데이터 검사 포함
아쉬운 점
- LLM 심사자 평가가 사용자의 제공업체 계정과 청구서로 돌아갑니다
- 트레이스 기본 보관이 15일이며 더 길면 추가 비용이 듭니다
- 가장 낮은 가격에는 연간 약정이 필요합니다
- 보관 기간 변경은 UI가 아니라 지원팀을 거칩니다
- Datadog의 미국 정부용 사이트에서는 쓸 수 없습니다
추천 대상
이미 Datadog을 운영하며 에이전트 트레이스를 서비스 및 인프라 모니터링 옆에 두고 싶은 엔지니어링 팀.
Datadog LLM Observability 대안
Datadog LLM Observability: 자주 묻는 질문
- Datadog LLM Observability, 쓸 만한 가치가 있습니까?
- 회사가 이미 Datadog에서 살고 있다면 에이전트를 지켜보기에 합리적인 곳입니다. 모델 호출당 과금도 처음 보기보다 공정합니다. 평점은 5점 만점에 4.0점입니다.
- Datadog LLM Observability의 가격은 얼마입니까?
- Free는 월 40K LLM 스팬까지, 15일 보관. Pro는 100K LLM 스팬에 연간 월 $160, 월간 $200, 온디맨드 $240부터. 이후 10K LLM 스팬당 $3.50(연간), $4.20(월간), $5(온디맨드). 보관 애드온은 30, 60, 90일에 대해 월 10K 스팬당 $6.50, $8, $9로 표시. LLM 스팬만 청구.
- Datadog LLM Observability의 단점은 무엇입니까?
- LLM 심사자 평가가 사용자의 제공업체 계정과 청구서로 돌아갑니다; 트레이스 기본 보관이 15일이며 더 길면 추가 비용이 듭니다; 가장 낮은 가격에는 연간 약정이 필요합니다; 보관 기간 변경은 UI가 아니라 지원팀을 거칩니다; Datadog의 미국 정부용 사이트에서는 쓸 수 없습니다.
- Datadog LLM Observability에 적합한 사람은 누구입니까?
- 이미 Datadog을 운영하며 에이전트 트레이스를 서비스 및 인프라 모니터링 옆에 두고 싶은 엔지니어링 팀.
- 팀이나 프로덕션 환경에서 Datadog LLM Observability의 비용은 얼마입니까?
- 월 100만 LLM 스팬은 더 긴 보관과 심사자 모델 자체 토큰 청구 전에 연간 Pro로 약 $475, 월간 $578, 온디맨드 $690입니다.
- Datadog LLM Observability에 회사 데이터를 맡겨도 안전합니까?
- 트레이스는 기본 15일, 애드온으로 30, 60, 90일 보관. 데이터셋과 프롬프트는 3년, 지표는 15개월 보관. Sensitive Data Scanner와 앱별 접근 통제 포함. 인증은 접근 요청이 필요한 Trust Center에 있으며, 문서는 트레이스 데이터가 학습에 쓰이는 지 말하지 않습니다.
- Datadog LLM Observability의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LangSmith, Braintrust 및 Arize AX입니다.
답변 확인일: 2026년 11월 2일.
Datadog LLM Observability 개발사입니까? 이 평점을 사이트에 표시하십시오
