본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

LLM 관측성(LLM observability)

LLM 관측성(LLM observability)은 AI 애플리케이션이 프로덕션에서 하는 일, 즉 프롬프트, 응답, 도구 호출, 지연 시간, 토큰 사용량, 비용을 검색 가능한 트레이스로 기록하는 것입니다. 이를 통해 실패를 디버깅하고 시스템이 시간에 따라 어떻게 동작하는지 볼 수 있습니다.

다른 이름: tracing, LLM monitoring, LLM tracing, traces, spans

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

일반적인 웹 서비스는 요란하게 실패합니다. 예외가 나거나 500 오류가 뜹니다. LLM 애플리케이션은 조용히 실패하는 경우가 많습니다. 자신 있게 틀린 답을 내거나, 에이전트가 여러 번 도구를 호출하며 맴돌다가 포기합니다. 관측성 도구는 무슨 일이 왜 일어났는지 알 수 있을 만큼 자세한 정보를 남깁니다.

LLM 트레이싱

핵심 단위는 트레이스입니다. 이런 도구 다수가 지원하는 개방형 표준인 OpenTelemetry는 트레이스를 애플리케이션을 지나는 요청의 경로로, 스팬을 그 안의 작업 한 단위로 정의합니다. LLM 앱에서는 사용자 질문 하나가 트레이스가 되고, 검색 쿼리, 리랭커, 각 모델 호출과 도구 호출이 실행 순서대로 중첩된 스팬이 될 수 있습니다. 각 스팬은 입력, 출력, 소요 시간, 그리고 모델 이름과 토큰 수 같은 속성을 기록합니다. OpenTelemetry는 생성형 AI용 시맨틱 컨벤션도 관리하므로, 서로 다른 도구가 이 필드에 같은 이름을 붙입니다.

팀이 이것으로 하는 일

전체 트레이스를 읽어 잘못된 답변 하나를 디버깅합니다. 느린 단계와 늘어나는 토큰 비용을 찾아냅니다. 실패를 묶어 패턴을 찾습니다. 사용자 피드백을 트레이스에 붙이고, 실제 실패를 LLM 평가와 회귀 테스트용 테스트 케이스로 바꿉니다. 많은 플랫폼이 트레이싱과 평가를 함께 제공합니다. 예를 들어 Langfuse, Arize Phoenix, LangSmith가 있습니다. 관측성 단계 가이드에서 이들을 비교합니다.

한계와 주의점

트레이스에는 사용자가 입력한 내용이 그대로 저장되며, 여기에는 개인 정보나 기밀 데이터가 들어 있는 경우가 많습니다. 따라서 프로덕션 데이터베이스와 마찬가지로 PII 마스킹과 접근 제어를 적용해야 합니다. 모든 요청의 모든 토큰을 기록하면 저장 비용도 들기 때문에, 팀은 트래픽이 많을 때 샘플링을 합니다.

관련 용어

LLM 평가
LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
회귀 테스트(LLM 앱)
LLM 앱의 회귀 테스트(regression testing)는 프롬프트, 모델, 검색 설정, 도구를 바꿀 때마다 고정된 평가 케이스를 다시 실행해, 예전에는 잘 되다가 이제 실패하는 케이스를 잡아내는 것입니다.
LLM 게이트웨이
LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
토큰 가격(Token pricing)
토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
PII 마스킹(PII redaction)
PII 마스킹(PII redaction)은 이름, 전화번호, 주소, 카드 번호 같은 개인 식별 정보를 텍스트나 이미지에서 찾아내, 모델에 보내거나 로그에 저장하거나 다른 사람에게 보여 주기 전에 지우거나 가리는 것입니다.

출처