O que é Datadog LLM Observability?
O Datadog LLM Observability, que a Datadog hoje vende como Agent Observability, registra cada etapa de um app ou agente de LLM como um trace: prompts, recuperação, chamadas de ferramentas, latência, tokens e custo. Sobre os traces ele roda avaliações LLM-as-a-judge gerenciadas e personalizadas, procura injeção de prompt e dados sensíveis, agrupa o tráfego por temas e oferece datasets, experimentos, um playground de prompts e filas de anotação para revisão humana.
Os apps são instrumentados com o SDK de Python ou Node.js, o tracer de Java, OpenTelemetry ou uma API HTTP, e o SDK captura chamadas a OpenAI, Anthropic, Bedrock, LangChain, CrewAI e LiteLLM sem mudanças no código. Ele pode ser comprado sozinho, mas seu diferencial é ligar o trace de um agente aos serviços, à infraestrutura e às sessões de usuários reais que já estão na Datadog.
A cobrança conta só os LLM spans, ou seja, as chamadas individuais a um provedor de modelos; etapas de ferramentas, recuperação e workflow são gratuitas. O plano Free cobre até 40.000 LLM spans por mês com retenção de 15 dias. O Pro começa em US$ 160 por mês com compromisso anual (US$ 200 mês a mês, US$ 240 sob demanda) para 100.000 spans, depois de US$ 3,50 a US$ 5 a cada 10.000.
Quanto custa Datadog LLM Observability?
| Plano | Preço | O que inclui |
|---|---|---|
| Free | Free | Até 40 mil LLM spans/mês, retenção de 15 dias, avaliações incluídas |
| Pro | From $160/month annual | US$ 200 mês a mês ou US$ 240 sob demanda para 100 mil LLM spans; depois de US$ 3,50 a US$ 5 a cada 10 mil LLM spans |
Gratuito até 40 mil LLM spans/mês com retenção de 15 dias. Pro a partir de US$ 160/mês no anual, US$ 200 mês a mês ou US$ 240 sob demanda, para 100 mil LLM spans; depois US$ 3,50 (anual), US$ 4,20 (mês a mês) ou US$ 5 (sob demanda) a cada 10 mil LLM spans. Complementos de retenção listados a US$ 6,50, US$ 8 e US$ 9 a cada 10 mil spans por mês para 30, 60 e 90 dias. Só os LLM spans são cobrados.
Datadog LLM Observability vale a pena?
Quando um cliente diz que o seu chatbot deu uma resposta errada e ainda demorou, a causa pode ser o prompt, o modelo, um banco de dados lento ou um servidor sobrecarregado. A maioria das ferramentas de rastreamento de IA só enxerga as duas primeiras.
A ferramenta da Datadog registra cada passo do seu agente e o coloca na mesma linha do tempo que o resto dos seus sistemas, então a resposta lenta e o banco de dados sobrecarregado aparecem lado a lado. Se os seus engenheiros já usam a Datadog para servidores e apps, essa ligação vem sem configuração extra, algo que nenhuma das ferramentas especializadas de rastreamento que cobrimos consegue igualar.
O modelo de cobrança é fácil de prever. Você paga só pelas chamadas ao modelo, não por cada chamada de ferramenta ou etapa de busca em volta delas. Um agente que faz cinco chamadas ao modelo por conversa usa 500.000 spans para 100.000 conversas. Em um plano Pro anual, um milhão de spans por mês custa US$ 160 mais 90 blocos de 10.000 a US$ 3,50, cerca de US$ 475; o mesmo mês sob demanda sai por cerca de US$ 690. As avaliações estão incluídas no preço do span, então você não paga duas vezes para pontuar o tráfego.
O porém: o que você economiza na Datadog pode gastar em outro lugar. As avaliações com LLM como juiz rodam na sua própria conta da OpenAI, Anthropic, Bedrock ou Vertex, então cada trace avaliado é uma conta de modelo à parte; a documentação sugere amostragem, por exemplo de 10%, para conter o custo. Os traces ficam guardados só 15 dias, a menos que você compre retenção maior, listada de US$ 6,50 a US$ 9 a cada 10.000 spans por mês para 30 a 90 dias, e é preciso pedir ao suporte para mudá-la. Os melhores preços exigem compromisso anual. A Datadog lista suas certificações em um Trust Center cujo acesso precisa ser solicitado, e o produto não está disponível nos sites da Datadog para o governo dos EUA.
Nossa opinião: esta é a ferramenta de rastreamento que você escolhe tanto para a equipe de operações quanto para a de IA. Uma startup que ainda não paga a Datadog tira mais proveito do Langfuse ou do Braintrust; uma empresa que já paga faz melhor em manter os traces dos agentes ao lado de todo o resto.
Onde ele se destaca
Uma equipe de SRE em uma empresa de e-commerce de 300 pessoas que já usa o Datadog APM
Descobrir se as respostas lentas do chatbot vêm do modelo ou dos nossos próprios serviços
Ative o SDK no serviço do chatbot e seus traces passam a compartilhar um trace ID com os spans de APM existentes, então uma resposta lenta abre direto na chamada de banco de dados ou de API por trás dela. O Pro, a US$ 160 por mês no anual, cobre as primeiras 100.000 chamadas ao modelo.
Uma equipe de duas pessoas criando um assistente interno de RH
Ver o que os funcionários perguntam e pegar respostas ruins antes do lançamento
Os 40.000 LLM spans por mês do plano Free cobrem um piloto; o agrupamento por temas mostra o que as pessoas perguntam, e um juiz LLM com amostragem na sua própria chave da OpenAI aponta respostas fracas. Os traces somem depois de 15 dias, então salve exemplos em um dataset.
Um head de plataforma em uma fintech que lida com mensagens de clientes
Manter números de conta e dados pessoais fora dos traces armazenados
O Sensitive Data Scanner está incluído, com 1 GB de varredura a cada 10.000 spans, e os span processors do SDK podem ocultar ou descartar dados antes que saiam do app. O acesso aos traces de cada app de IA pode ser limitado por equipe.
Antes de decidir
- Configuração
- Instale o SDK de Python ou Node.js (ou use o tracer de Java), defina uma chave de API da Datadog e o nome do app; chamadas a OpenAI, Anthropic, Bedrock, LangChain, CrewAI e LiteLLM são rastreadas sem mudanças no código. A Datadog diz que a maioria das equipes vê traces em minutos.
- Integrações
- OpenAI, Anthropic, Gemini, Vertex AI e Bedrock; LangChain, CrewAI, Pydantic AI, LiteLLM e Strands Agents; convenções GenAI do OpenTelemetry; API HTTP; API de exportação para avaliadores externos; NeMo; acesso por CLI e MCP.
- Dados e privacidade
- Traces guardados por 15 dias por padrão, ou 30, 60 ou 90 com um complemento; datasets e prompts guardados por 3 anos; métricas por 15 meses. Sensitive Data Scanner e controles de acesso por app incluídos. As certificações estão em um Trust Center que exige pedido de acesso, e a documentação não diz se os dados dos traces são usados para treinamento.
- Custo em escala
- Um milhão de LLM spans por mês sai por cerca de US$ 475 em um plano Pro anual, US$ 578 mês a mês ou US$ 690 sob demanda, antes da retenção maior e da conta de tokens do próprio modelo juiz.
- Limites
- O plano Free não pode comprar complementos de retenção; resultados de experimentos ficam guardados 15 dias nos planos gratuito e sob demanda; o produto não é oferecido em app.ddog-gov.com nem em us2.ddog-gov.com.
O que é bom
- Traces de agentes ligados ao APM, à infraestrutura e às sessões de usuários reais da Datadog
- Cobra só pelas chamadas ao modelo; etapas de ferramentas e recuperação são gratuitas
- Plano gratuito de 40.000 LLM spans por mês
- Avaliações, experimentos, datasets e anotação em todos os planos
- Varredura de dados sensíveis incluída
O que não é
- As avaliações com LLM como juiz rodam e são cobradas na sua própria conta do provedor
- Retenção de traces de 15 dias por padrão; mais tempo custa extra
- Os preços mais baixos exigem compromisso anual
- Mudanças de retenção passam pelo suporte, não pela interface
- Não disponível nos sites da Datadog para o governo dos EUA
Ideal para
Equipes de engenharia que já usam a Datadog e querem os traces dos agentes ao lado do monitoramento de serviços e infraestrutura.
Alternativas ao Datadog LLM Observability
Datadog LLM Observability: perguntas frequentes
- Datadog LLM Observability vale a pena?
- Se a sua empresa já vive na Datadog, este é o lugar sensato para observar os seus agentes, e a cobrança por chamada ao modelo é mais justa do que parece à primeira vista. Damos nota 4.0 de 5.
- Quanto custa Datadog LLM Observability?
- Gratuito até 40 mil LLM spans/mês com retenção de 15 dias. Pro a partir de US$ 160/mês no anual, US$ 200 mês a mês ou US$ 240 sob demanda, para 100 mil LLM spans; depois US$ 3,50 (anual), US$ 4,20 (mês a mês) ou US$ 5 (sob demanda) a cada 10 mil LLM spans. Complementos de retenção listados a US$ 6,50, US$ 8 e US$ 9 a cada 10 mil spans por mês para 30, 60 e 90 dias. Só os LLM spans são cobrados.
- Quais são as desvantagens de Datadog LLM Observability?
- As avaliações com LLM como juiz rodam e são cobradas na sua própria conta do provedor; retenção de traces de 15 dias por padrão; mais tempo custa extra; os preços mais baixos exigem compromisso anual; mudanças de retenção passam pelo suporte, não pela interface; não disponível nos sites da Datadog para o governo dos EUA.
- Para quem Datadog LLM Observability é indicado?
- Equipes de engenharia que já usam a Datadog e querem os traces dos agentes ao lado do monitoramento de serviços e infraestrutura.
- Quanto custa Datadog LLM Observability para uma equipe ou em produção?
- Um milhão de LLM spans por mês sai por cerca de US$ 475 em um plano Pro anual, US$ 578 mês a mês ou US$ 690 sob demanda, antes da retenção maior e da conta de tokens do próprio modelo juiz.
- Datadog LLM Observability é seguro para dados da empresa?
- Traces guardados por 15 dias por padrão, ou 30, 60 ou 90 com um complemento; datasets e prompts guardados por 3 anos; métricas por 15 meses. Sensitive Data Scanner e controles de acesso por app incluídos. As certificações estão em um Trust Center que exige pedido de acesso, e a documentação não diz se os dados dos traces são usados para treinamento.
- Quais são as melhores alternativas ao Datadog LLM Observability?
- As alternativas mais próximas que analisamos são LangSmith, Braintrust e Arize AX.
Respostas verificadas em 2 de nov. de 2026.
Você faz o Datadog LLM Observability? Mostre esta nota no seu site
