Was ist Datadog LLM Observability?
Datadog LLM Observability, das Datadog inzwischen als Agent Observability verkauft, zeichnet jeden Schritt einer LLM-App oder eines Agenten als Trace auf: Prompts, Retrieval, Tool-Aufrufe, Latenz, Tokens und Kosten. Auf den Traces laufen verwaltete und eigene LLM-as-a-judge-Evaluierungen, Scans auf Prompt Injection und sensible Daten sowie eine Gruppierung des Traffics nach Themen. Dazu kommen Datasets, Experimente, ein Prompt Playground und Annotation Queues für die Prüfung durch Menschen.
Apps werden mit dem SDK für Python oder Node.js, dem Java-Tracer, OpenTelemetry oder einer HTTP-API instrumentiert, und das SDK erfasst Aufrufe an OpenAI, Anthropic, Bedrock, LangChain, CrewAI und LiteLLM ohne Codeänderungen. Das Produkt lässt sich einzeln kaufen, sein Alleinstellungsmerkmal ist aber die Verknüpfung des Traces eines Agenten mit den Services, der Infrastruktur und den Sitzungen echter Nutzer, die schon in Datadog liegen.
Abgerechnet werden nur LLM-Spans, also einzelne Aufrufe an einen Modellanbieter; Tool-, Retrieval- und Workflow-Schritte sind kostenlos. Der Free-Tarif umfasst bis zu 40.000 LLM-Spans im Monat mit 15 Tagen Aufbewahrung. Pro beginnt bei 160 $ im Monat mit Jahresbindung (200 $ bei monatlicher Laufzeit, 240 $ on demand) für 100.000 Spans, danach 3,50 $ bis 5 $ pro 10.000.
Was kostet Datadog LLM Observability?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Free | Free | Bis 40K LLM-Spans/Monat, 15 Tage Aufbewahrung, Evaluierungen inklusive |
| Pro | From $160/month annual | 200 $ bei monatlicher Laufzeit oder 240 $ on demand für 100K LLM-Spans; danach 3,50 $ bis 5 $ pro 10K LLM-Spans |
Free bis 40K LLM-Spans/Monat mit 15 Tagen Aufbewahrung. Pro ab 160 $/Monat jährlich, 200 $ bei monatlicher Laufzeit oder 240 $ on demand, für 100K LLM-Spans; danach 3,50 $ (jährlich), 4,20 $ (monatlich) oder 5 $ (on demand) pro 10K LLM-Spans. Add-ons für längere Aufbewahrung mit 6,50 $, 8 $ und 9 $ pro 10K Spans im Monat für 30, 60 und 90 Tage aufgeführt. Abgerechnet werden nur LLM-Spans.
Lohnt sich Datadog LLM Observability?
Wenn ein Kunde sagt, dein Chatbot habe falsch und langsam geantwortet, kann die Ursache der Prompt sein, das Modell, eine langsame Datenbank oder ein ausgelasteter Server. Die meisten KI-Tracing-Tools sehen nur die ersten beiden.
Datadogs Tool zeichnet jeden Schritt deines Agenten auf und legt ihn auf dieselbe Zeitachse wie deine übrigen Systeme, sodass die langsame Antwort und die überlastete Datenbank nebeneinander erscheinen. Wenn deine Entwickler Datadog schon für Server und Apps nutzen, entsteht diese Verbindung ohne zusätzliche Einrichtung. Keines der spezialisierten Tracing-Tools, die wir behandeln, kann das bieten.
Die Abrechnung lässt sich leicht vorhersagen. Du zahlst nur für Aufrufe an das Modell, nicht für jeden Tool-Aufruf oder Suchschritt drumherum. Ein Agent mit fünf Modellaufrufen pro Konversation verbraucht für 100.000 Konversationen 500.000 Spans. Mit einem jährlichen Pro-Tarif kostet eine Million Spans im Monat 160 $ plus 90 Blöcke zu 10.000 für je 3,50 $, also etwa 475 $; derselbe Monat on demand kostet etwa 690 $. Evaluierungen sind im Span-Preis enthalten, du zahlst also nicht doppelt für die Bewertung von Traffic.
Der Haken: Was du bei Datadog sparst, kannst du anderswo ausgeben. Die LLM-Judge-Evaluierungen laufen über dein eigenes Konto bei OpenAI, Anthropic, Bedrock oder Vertex, jeder bewertete Trace ist also eine eigene Modellrechnung; die Dokumentation empfiehlt Sampling, zum Beispiel 10%, um das zu begrenzen. Traces werden nur 15 Tage aufbewahrt, sofern du keine längere Aufbewahrung kaufst, aufgeführt mit 6,50 $ bis 9 $ pro 10.000 Spans im Monat für 30 bis 90 Tage, und für die Änderung musst du den Support bitten. Die besten Preise setzen eine Jahresbindung voraus. Datadog führt seine Zertifizierungen in einem Trust Center auf, für das du Zugang beantragen musst, und auf den Datadog-Sites für US-Behörden ist das Produkt nicht verfügbar.
Unser Fazit: Dieses Tracing-Tool wählst du ebenso für dein Operations-Team wie für dein KI-Team. Ein Startup, das noch nicht für Datadog zahlt, bekommt bei Langfuse oder Braintrust mehr. Ein Unternehmen, das schon zahlt, hält Agent-Traces besser neben allem anderen.
Wo es sich lohnt
Ein SRE-Team in einem E-Commerce-Unternehmen mit 300 Mitarbeitern, das schon Datadog APM nutzt
Herausfinden, ob langsame Chatbot-Antworten vom Modell oder von unseren eigenen Services kommen
Aktiviere das SDK im Chatbot-Service, dann teilen seine Traces eine Trace-ID mit den bestehenden APM-Spans, und eine langsame Antwort führt direkt zum Datenbank- oder API-Aufruf dahinter. Pro für 160 $ im Monat bei jährlicher Zahlung deckt die ersten 100.000 Modellaufrufe ab.
Ein zweiköpfiges Team, das einen internen HR-Assistenten baut
Sehen, was Mitarbeiter fragen, und schlechte Antworten vor dem Start erkennen
Die 40.000 LLM-Spans im Monat des Free-Tarifs reichen für ein Pilotprojekt; die Gruppierung nach Themen zeigt, was gefragt wird, und ein LLM-Judge mit Sampling über deinen eigenen OpenAI-Key markiert schwache Antworten. Traces verschwinden nach 15 Tagen, speichere Beispiele also in einem Dataset.
Ein Head of Platform bei einem Fintech, das Kundennachrichten verarbeitet
Kontonummern und personenbezogene Daten aus gespeicherten Traces heraushalten
Sensitive Data Scanner ist enthalten, mit 1 GB Scan pro 10.000 Spans, und Span-Prozessoren im SDK können Daten schwärzen oder verwerfen, bevor sie die App verlassen. Der Zugriff auf die Traces jeder KI-App lässt sich nach Team beschränken.
Bevor du dich festlegst
- Einrichtung
- SDK für Python oder Node.js installieren (oder den Java-Tracer nutzen), einen Datadog-API-Key und einen App-Namen setzen; Aufrufe an OpenAI, Anthropic, Bedrock, LangChain, CrewAI und LiteLLM werden ohne Codeänderungen erfasst. Laut Datadog sehen die meisten Teams innerhalb von Minuten Traces.
- Integrationen
- OpenAI, Anthropic, Gemini, Vertex AI und Bedrock; LangChain, CrewAI, Pydantic AI, LiteLLM und Strands Agents; OpenTelemetry-GenAI-Konventionen; HTTP-API; Export-API für externe Evaluatoren; NeMo; Zugriff per CLI und MCP.
- Daten und Datenschutz
- Traces werden standardmäßig 15 Tage aufbewahrt, mit Add-on 30, 60 oder 90; Datasets und Prompts 3 Jahre; Metriken 15 Monate. Sensitive Data Scanner und Zugriffskontrollen pro App inklusive. Zertifizierungen liegen in einem Trust Center hinter einer Zugangsanfrage, und die Dokumentation sagt nicht, ob Trace-Daten zum Training genutzt werden.
- Kosten im großen Maßstab
- Eine Million LLM-Spans im Monat kosten etwa 475 $ mit einem jährlichen Pro-Tarif, 578 $ bei monatlicher Laufzeit oder 690 $ on demand, ohne längere Aufbewahrung und die eigene Token-Rechnung des Judge-Modells.
- Grenzen
- Im Free-Tarif lassen sich keine Aufbewahrungs-Add-ons kaufen; Ergebnisse von Experimenten werden in den Tarifen Free und on demand 15 Tage aufbewahrt; das Produkt wird auf app.ddog-gov.com und us2.ddog-gov.com nicht angeboten.
Was gut ist
- Agent-Traces verknüpft mit Datadog APM, Infrastruktur und Sitzungen echter Nutzer
- Abrechnung nur nach Modellaufrufen; Tool- und Retrieval-Schritte kostenlos
- Free-Tarif mit 40.000 LLM-Spans im Monat
- Evaluierungen, Experimente, Datasets und Annotation in jedem Tarif
- Scan auf sensible Daten inklusive
Was nicht
- LLM-Judge-Evaluierungen laufen über dein eigenes Anbieterkonto und dessen Rechnung
- Standardmäßig 15 Tage Aufbewahrung für Traces; länger kostet extra
- Niedrigste Preise nur mit Jahresbindung
- Änderungen der Aufbewahrung laufen über den Support, nicht über die Oberfläche
- Nicht verfügbar auf Datadogs Sites für US-Behörden
Am besten für
Engineering-Teams, die schon Datadog betreiben und Agent-Traces neben ihrem Service- und Infrastruktur-Monitoring haben wollen.
Alternativen zu Datadog LLM Observability
Datadog LLM Observability: häufige Fragen
- Lohnt sich Datadog LLM Observability?
- Wenn dein Unternehmen ohnehin in Datadog lebt, ist das der vernünftige Ort, um deine Agenten zu beobachten, und die Abrechnung pro Modellaufruf ist fairer, als sie zunächst wirkt. Wir bewerten es mit 4.0 von 5.
- Was kostet Datadog LLM Observability?
- Free bis 40K LLM-Spans/Monat mit 15 Tagen Aufbewahrung. Pro ab 160 $/Monat jährlich, 200 $ bei monatlicher Laufzeit oder 240 $ on demand, für 100K LLM-Spans; danach 3,50 $ (jährlich), 4,20 $ (monatlich) oder 5 $ (on demand) pro 10K LLM-Spans. Add-ons für längere Aufbewahrung mit 6,50 $, 8 $ und 9 $ pro 10K Spans im Monat für 30, 60 und 90 Tage aufgeführt. Abgerechnet werden nur LLM-Spans.
- Welche Nachteile hat Datadog LLM Observability?
- LLM-Judge-Evaluierungen laufen über dein eigenes Anbieterkonto und dessen Rechnung; Standardmäßig 15 Tage Aufbewahrung für Traces; länger kostet extra; Niedrigste Preise nur mit Jahresbindung; Änderungen der Aufbewahrung laufen über den Support, nicht über die Oberfläche; Nicht verfügbar auf Datadogs Sites für US-Behörden.
- Für wen eignet sich Datadog LLM Observability?
- Engineering-Teams, die schon Datadog betreiben und Agent-Traces neben ihrem Service- und Infrastruktur-Monitoring haben wollen.
- Was kostet Datadog LLM Observability für ein Team oder im Produktivbetrieb?
- Eine Million LLM-Spans im Monat kosten etwa 475 $ mit einem jährlichen Pro-Tarif, 578 $ bei monatlicher Laufzeit oder 690 $ on demand, ohne längere Aufbewahrung und die eigene Token-Rechnung des Judge-Modells.
- Ist Datadog LLM Observability sicher für Firmendaten?
- Traces werden standardmäßig 15 Tage aufbewahrt, mit Add-on 30, 60 oder 90; Datasets und Prompts 3 Jahre; Metriken 15 Monate. Sensitive Data Scanner und Zugriffskontrollen pro App inklusive. Zertifizierungen liegen in einem Trust Center hinter einer Zugangsanfrage, und die Dokumentation sagt nicht, ob Trace-Daten zum Training genutzt werden.
- Was sind die besten Alternativen zu Datadog LLM Observability?
- Die nächsten Alternativen, die wir getestet haben, sind LangSmith, Braintrust und Arize AX.
Antworten geprüft am 2. Nov. 2026.
Du entwickelst Datadog LLM Observability? Zeig diese Bewertung auf deiner Website
