Observabilidade de LLM
A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.
Também chamado: tracing, LLM monitoring, LLM tracing, traces, spans
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um serviço web comum falha de forma ruidosa: uma exceção, um erro 500. Uma aplicação de LLM muitas vezes falha em silêncio, com uma resposta errada dita com confiança ou um agente que passa por muitas chamadas de ferramentas antes de desistir. As ferramentas de observabilidade capturam detalhes suficientes para ver o que aconteceu e por quê.
Tracing de LLM
A unidade central é o trace. O OpenTelemetry, um padrão aberto que muitas dessas ferramentas suportam, define um trace como o caminho de uma requisição por uma aplicação, e um span como uma unidade de trabalho dentro dele. Em um app de LLM, uma pergunta do usuário vira um trace, e seus spans podem ser a consulta de recuperação, o reranker, cada chamada ao modelo e cada chamada de ferramenta, aninhados na ordem em que rodaram. Cada span registra suas entradas, saídas, tempos e atributos como o nome do modelo e a contagem de tokens. O OpenTelemetry também mantém convenções semânticas para IA generativa, para que ferramentas diferentes rotulem esses campos da mesma forma.
O que as equipes fazem com isso
Depurar uma única resposta ruim lendo o trace completo. Identificar etapas lentas e custos de tokens em alta. Agrupar falhas para encontrar padrões. Anexar o feedback dos usuários aos traces e transformar falhas reais em casos de teste para avaliação de LLM e testes de regressão. Muitas plataformas combinam tracing com evals, por exemplo Langfuse, Arize Phoenix e LangSmith. O guia da etapa de observabilidade compara essas opções.
Limites e cuidados
Os traces guardam tudo o que os usuários digitaram, o que muitas vezes inclui dados pessoais ou confidenciais, então aplique redação de PII e controles de acesso a eles como faria com um banco de dados de produção. Registrar cada token de cada requisição também custa armazenamento, por isso as equipes fazem amostragem do tráfego intenso.
Termos relacionados
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Testes de regressão (apps de LLM)
- Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.
- LLM gateway
- Um LLM gateway (gateway de LLMs) é um servidor proxy entre as suas aplicações e os provedores de modelos que expõe uma única API e cuida de chaves, roteamento, fallbacks, rate limits, logs e controle de gastos em um só lugar.
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- Redação de PII
- A redação de PII (PII redaction) é a detecção e remoção ou mascaramento de informações de identificação pessoal, como nomes, telefones, endereços e números de cartão, em textos ou imagens antes de serem enviados a um modelo, guardados em logs ou mostrados a outras pessoas.