Schritt 21 von 22
Observability und Tracing
Jeden Prompt, jeden Tool-Aufruf, Kosten und Latenz in Produktion sehen. Wenn sich ein Agent danebenbenimmt, brauchst du den Trace. Über Observability findest du auch heraus, welche Kosten du kürzen kannst.
Von Sheela · Geprüft am 23. Okt. 2026 · So testen wir
So triffst du die Wahl
- Selbst gehostet und Open Source: Behalte Traces in deiner eigenen Infrastruktur.
- Schon auf LangChain oder LangGraph: der gehostete Tracer, der dafür gebaut ist.
- Kosten-Dashboards pro Nutzer oder Funktion: ein Gateway, das Ausgaben protokolliert.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
OpenTelemetry rein und raus
Die Instrumentierung ist der Teil, dessen Änderung teuer ist, gib also standardmäßige OpenTelemetry-Spans aus und halte das Backend austauschbar. Prüfe, ob ein Tool OpenTelemetry annimmt (Langfuse, Opik, LangSmith, Braintrust und Weave tun das alle), ob es darauf aufgebaut ist (Arize Phoenix mit OpenInference) und welche Konventionen für LLM-Attribute es am besten liest: Die Konventionen von OpenInference und von OpenLLMetry existieren beide im OpenTelemetry-Ökosystem.
02
Selbst gehostet oder SaaS, und was die Lizenz erlaubt
Traces enthalten Prompts, Dokumente und Antworten, oft mit Kundendaten. Langfuse (MIT-Kern mit kommerziellen ee/-Ordnern) und Opik (durchgehend Apache 2.0) lassen sich kostenlos selbst hosten; Phoenix ebenfalls, aber seine Elastic License 2.0 verbietet, es anderen als gehosteten Dienst anzubieten. LangSmith, Braintrust und Weave behalten das Selbsthosten Enterprise-Verträgen vor. Selbsthosten heißt, Datenbanken wie ClickHouse und Postgres zu betreiben, rechne also die Betriebszeit ein.
03
Aufbewahrung und Kontrollen für personenbezogene Daten
Kostenlose Cloud-Tarife bewahren Daten 14 bis 60 Tage auf; längere Aufbewahrung kostet fast überall extra, und LangSmith kürzte die Aufbewahrung erweiterter Traces im September 2026 auf 180 Tage. Wenn Prompts personenbezogene Daten enthalten, prüfe, ob es eine Schwärzung auf dem Client vor dem Hochladen gibt (die SDKs von Braintrust unterstützen das), eine Maskierung auf dem Server (bei Langfuse kostenpflichtig) und Aufbewahrungsrichtlinien pro Projekt, und stelle sicher, dass dein Vertrag zur Auftragsverarbeitung den Anbieter abdeckt.
04
Kostenverfolgung pro Nutzer und Funktion
Über Observability finden die meisten Teams heraus, welche Kosten sie kürzen können. Prüfe, ob das Tool Token-Zahlen und Kosten pro Span erfasst, Modelle einschließlich gecachter Tokens richtig bepreist und Ausgaben nach Nutzer, Funktion oder Tag gruppieren kann. Wenn du Aufrufe schon über ein Gateway leitest, decken dessen Ausgabenlogs das womöglich ohne separaten Tracer ab.
05
Wie abgerechnet wird
Die Preiseinheiten unterscheiden sich und machen Angebote schwer vergleichbar: Langfuse rechnet Units ab, Opik und Arize Spans, LangSmith Traces plus Plätze, Braintrust verarbeitete Gigabytes und Scores, und Weave die Aufnahme pro Megabyte über einem kleinen Kontingent. Schätze vor der Wahl einen realistischen Monat Traffic, einschließlich großer Prompts und Tool-Ausgaben, in den Einheiten jedes Anbieters.
06
Evals und Prompt-Verwaltung am selben Ort
Die beste Feedbackschleife macht aus einem schlechten Produktions-Trace einen Eintrag im Datensatz und einen Regressionstest. Langfuse, Opik, Phoenix, LangSmith und Braintrust kombinieren alle Tracing mit Datensätzen, Bewertung per LLM-as-Judge und Versionierung von Prompts; OpenLLMetry ist nur Instrumentierung und braucht für all das ein Backend.
07
Trace-Ansichten, die Agenten verstehen
Agenten-Traces sind tiefe Bäume aus Modellaufrufen, Tool-Aufrufen und Subagenten. Achte auf Ansichten, die Sitzungen und Züge zeigen statt nur flacher Spans, und auf native Integrationen für dein Framework: LangSmith für LangGraph, die Einzeiler-Patches von Weave für das OpenAI Agents SDK, das Claude Agent SDK und Google ADK und eine breite Abdeckung an Frameworks bei Langfuse und Phoenix.
08
Eigentümer und Risiko für die Roadmap
Fast jeder Anbieter hier hat kürzlich den Besitzer gewechselt: ClickHouse kaufte Langfuse, Dynatrace kaufte Arize, ServiceNow kaufte Traceloop, CoreWeave besitzt Weights & Biases und nennt Agent Lens den Nachfolger von Weave, und Helicone ging in den Wartungsmodus, nachdem Mintlify es übernommen hatte. Standardisierte Instrumentierung ist die Absicherung.
Wie sich die Optionen unterscheiden
Hier gibt es drei Arten von Tools. Open-Source-Plattformen (Langfuse, Opik, Arize Phoenix) speichern und zeigen Traces, führen Evaluierungen aus und verwalten Prompts und lassen sich kostenlos selbst hosten oder als Cloud-Dienst kaufen; sie unterscheiden sich vor allem in Lizenz, Größe des Ökosystems und Preiseinheit. Gehostete Plattformen (LangSmith, Braintrust, W&B Weave) bieten denselben Kern als vom Anbieter betriebenen Dienst, mit engerer Bindung an ein Framework oder einen Workflow und Selbsthosting nur in Enterprise-Tarifen. Instrumentierungsbibliotheken (OpenLLMetry) erzeugen nur OpenTelemetry-Spans und schicken sie an ein Backend deiner Wahl, auch an allgemeine APM-Tools wie Datadog oder Grafana.
Allgemeine Fehler- und Infrastruktur-Monitore (Sentry, Grafana) ergänzen diese Tools, ersetzen aber keine Trace-Ansicht, die LLMs versteht. Helicone, einst eine beliebte Option auf Proxy-Basis, ist seit März 2026 im Wartungsmodus und für neue Projekte nicht zu empfehlen.
11 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| LangfuseRepo | 4.6/5 | Framework-neutrales LLM-Tracing, das dir komplett gehören kann: Die kostenlose selbst gehostete Version deckt fast alles ab, und die Cloud ist bis auf die einzelne Unit genau bepreist. | Teams, die framework-neutrales Tracing und Evaluation wollen, das sie kostenlos selbst hosten oder als fair bepreisten Cloud-Dienst kaufen können. | Kostenlos und Open Source unter MIT, außer den ee/-Ordnern unter kommerzieller Lizenz. Cloud: Hobby kostenlos (50k Units/Monat); Core 29 $/Monat; Pro 199 $/Monat (Teams-Add-on +300 $); Enterprise 2.499 $/Monat; Mehrverbrauch 8 $ pro 100k Units, über 50M sinkend auf 6 $. |
| MLflowRepo | 4.4/5 | Weiterhin der Standardort für ML-Experimente, jetzt mit kostenlosem LLM-Tracing und Evaluation; sichere den Server ab, bevor ihn jemand anderes erreichen kann. | Python-Teams, die Modelle trainieren und LLM-Funktionen bauen und für beides ein kostenloses, selbst gehostetes System of Record wollen. | Kostenlos und Open Source unter Apache-2.0; du zahlst nur für Server, Datenbank und Objektspeicher. Verwaltetes MLflow auf Databricks hat keinen eigenen Listenpreis und wird über Databricks-Rechenleistung abgerechnet; die Free Edition ist nur für private Nutzung. |
| BraintrustTool | 4.3/5 | Braintrust ist für Teams, deren schwierigste Frage lautet, ob die letzte Änderung das Produkt besser gemacht hat, und es rechnet nach Daten statt nach Personen ab, was großen Teams entgegenkommt und Agenten wehtut, die viel protokollieren. | Produktteams, die evaluierungsgetriebene Entwicklung mit gehostetem Tracing wollen und gern für einen verwalteten Dienst zahlen. | Starter kostenlos (1 GB Daten, 10k Bewertungen, 10 $ Modellguthaben, 14 Tage Aufbewahrung, unbegrenzte Nutzer; danach 4 $/GB und 2,50 $ pro 1.000 Bewertungen). Pro 249 $/Monat (5 GB, 50k Bewertungen, 100 $ Modellguthaben, 30 Tage Aufbewahrung; danach 3 $/GB und 1,50 $ pro 1.000 Bewertungen). Enterprise individuell, mit SAML, BAA und selbst gehosteter Data Plane. Startups, die die Kriterien erfüllen, bekommen Pro 6 bis 12 Monate kostenlos. |
| Arize PhoenixRepo | 4.2/5 | Phoenix hat unter den offenen Tracing-Tools den stärksten Evaluationskreislauf, verpackt in eine Lizenz und einen Eigentümer, über die Rechtsabteilungen reden wollen werden. | Engineers und Data Scientists, die standardbasiertes Tracing mit starkem Evaluationskreislauf wollen, beginnend auf dem Laptop. | Kostenlos selbst zu hosten unter der Elastic License 2.0 (Source-available; kein Hosting als Dienst für andere). Verwaltetes Arize AX: Free (25.000 Spans/Monat, 15 Tage Aufbewahrung, 1 GB); Pro 50 $/Monat (50.000 Spans, 30 Tage, 10 GB); Enterprise nach Vereinbarung. |
| LangSmithTool | 4.2/5 | LangSmith bietet das tiefste und ausgereifteste Tracing und Evaluieren für LangGraph-Agenten, verkauft pro Platz zu einem Preis, der kleine Teams mit großen Budgets belohnt. | Teams, die Produktionsagenten auf LangChain oder LangGraph bauen und gehostetes Tracing, Evaluierung und Deployment von einem Anbieter wollen. | Developer kostenlos (1 Platz, 5.000 Basis-Traces pro Monat). Plus 39 $ pro Platz und Monat (10.000 Basis-Traces, danach nach Verbrauch; ein kleines Serverless-Deployment). Enterprise individuell, mit hybriden oder selbst gehosteten Optionen. Basis-Traces werden 14 Tage aufbewahrt, erweiterte Traces 180 Tage. |
| OpikRepo | 4.1/5 | Opik verschenkt den ganzen Server unter Apache 2.0 und verkauft den günstigsten gehosteten Plan, aber die selbst gehostete Version hat keine Benutzerkonten und meldet sich standardmäßig beim Hersteller. | Teams, die eine permissiv lizenzierte, selbst hostbare Plattform für Tracing und Evaluierung wollen oder eine günstige gehostete. | Kostenlos und Open Source unter Apache 2.0. Cloud: Free (25.000 Spans/Monat, 60 Tage Aufbewahrung); Pro 19 $/Monat (100.000 Spans, danach 5 $ pro 100.000; Add-on für 400 Tage Aufbewahrung 29 $ pro 100.000 Spans); Enterprise nach Vereinbarung. |
| Arize AXTool | 4.1/5 | Arize AX bietet ernsthaftes Agent-Tracing und Evals auf offener Instrumentierung, aber die günstigen Pläne sind schnell ausgeschöpft, und über die Roadmap bestimmt jetzt Dynatrace. | Engineering-Teams mit Agenten in Produktion, die gehostetes Tracing und Evals auf offener, portabler Instrumentierung wollen und einen Enterprise-Vertrag aushandeln können. | AX Free 0 $ (25.000 Spans, 1 GB pro Monat, 15 Tage Aufbewahrung); AX Pro 50 $/Monat (50.000 Spans, 10 GB, 30 Tage Aufbewahrung); Enterprise individuell mit SSO, HIPAA und Self-Hosting. Unbegrenzte Nutzer in jedem Plan. |
| OpenLLMetryRepo | 4.1/5 | Instrumentiere LLM-Aufrufe einmal in Standard-OpenTelemetry und behalte die freie Wahl des Backends, nachdem du zuerst zwei Voreinstellungen geändert hast, die vollständige Prompts an die Cloud von Traceloop schicken. | Teams mit OpenTelemetry als Standard, die LLM-Traces ohne Hersteller-SDK in ihrem bestehenden Observability-Stack wollen. | Kostenlos und Open Source unter Apache 2.0. Die gehostete Plattform von Traceloop, inzwischen im Besitz von ServiceNow: Free bis 50.000 Spans im Monat mit 24 Stunden Aufbewahrung; Enterprise (SOC 2, On-Premises) auf Angebot. |
| Datadog LLM ObservabilityTool | 4.0/5 | Wenn dein Unternehmen ohnehin in Datadog lebt, ist das der vernünftige Ort, um deine Agenten zu beobachten, und die Abrechnung pro Modellaufruf ist fairer, als sie zunächst wirkt. | Engineering-Teams, die schon Datadog betreiben und Agent-Traces neben ihrem Service- und Infrastruktur-Monitoring haben wollen. | Free bis 40K LLM-Spans/Monat mit 15 Tagen Aufbewahrung. Pro ab 160 $/Monat jährlich, 200 $ bei monatlicher Laufzeit oder 240 $ on demand, für 100K LLM-Spans; danach 3,50 $ (jährlich), 4,20 $ (monatlich) oder 5 $ (on demand) pro 10K LLM-Spans. Add-ons für längere Aufbewahrung mit 6,50 $, 8 $ und 9 $ pro 10K Spans im Monat für 30, 60 und 90 Tage aufgeführt. Abgerechnet werden nur LLM-Spans. |
| Splunk Agent ObservabilityTool | 3.7/5 | Galileos kleine Judge-Modelle machen es günstig, jede Agent-Konversation zu bewerten, doch unter Splunk ist daraus ein Enterprise-Kauf mit vorgeschaltetem Vertriebsgespräch geworden. | Große Organisationen, die schon Splunk Observability nutzen und jede Agent-Konversation bewerten sowie unsichere Aktionen zur Laufzeit blockieren wollen. | Agent Observability ab 100 $/Monat pro 1,2M Spans im Jahr, jährlich abgerechnet, mit 500M Luna-Tokens und 5 Luna-Fine-Tuning-Läufen pro Jahr; zusätzliche Luna-Tokens und längere Aufbewahrung nach Angebot. Splunk Observability Cloud Free Edition (bis 15 Hosts, unbefristet) umfasst Agent-Tracing. Galileos alte Tarife Free (5.000 Traces/Monat) und Pro (100 $/Monat bei jährlicher Zahlung, 50.000 Traces) werden nicht mehr veröffentlicht. |
| W&B WeaveRepo | 3.6/5 | Lohnt sich einzuschalten, wenn deine Modelle bereits in Weights & Biases liegen; bei 0,10 $ pro Megabyte schwer zu verkaufen an alle, die neu anfangen. | Teams, die Weights & Biases bereits fürs Modelltraining nutzen und LLM-Traces und Evaluierungen am selben Ort wollen. | SDK kostenlos unter Apache 2.0. Gehostet: Free (1 GB Weave-Datenaufnahme pro Monat); Pro ab 60 $ pro Monat (1,5 GB, danach 0,10 $ pro MB); Enterprise individuell (0,20 $ pro MB Mehrverbrauch laut Liste), mit dediziertem Deployment. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 23. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Typ | Lizenz | Selbsthosting | OpenTelemetry | Aufbewahrung im kostenlosen Tarif |
|---|---|---|---|---|---|
| Langfuse | Tracing, Evals, Prompts | MIT-Kern; ee/ kommerziell | Kostenlos, nahezu vollständig | Nimmt OTel an | 30 Tage (Hobby) |
| Braintrust | Gehostete Evals und Tracing | Proprietär (autoevals MIT) | Nur Enterprise (Data Plane) | Nimmt OTel an | 14 Tage |
| Arize Phoenix | Tracing, Evals, Prompts | Elastic License 2.0 | Kostenlos; kein Hosting für andere | Auf OTel/OpenInference aufgebaut | 15 Tage (Arize AX Free) |
| LangSmith | Gehostetes Tracing, Evals, Deployment | Proprietär | Nur Enterprise | Nimmt OTel an | 14 Tage (Basis-Traces) |
| Opik | Tracing, Evals, Prompts | Apache 2.0 | Kostenlos, dieselbe Codebasis wie die Cloud | Nimmt OTel an | 60 Tage |
| OpenLLMetry | Nur Instrumentierungsbibliothek | Apache 2.0 | Nutzt dein eigenes Backend | Gibt OTel-Spans aus | Hängt vom Backend ab |
| W&B Weave | SDK für Tracing und Evals, gehostet | SDK unter Apache 2.0 | Nur Enterprise Dedicated | OTLP-Endpunkt | Nicht veröffentlicht |
Verbinde es mit deinem Agenten
MCP-Server, mit denen Assistenten wie Claude, ChatGPT und Cursor diese Tools direkt nutzen können.
Wo diese Stufe hingehört
- Mit deinen Dokumenten chatten: Wir würden mit Langfuse anfangen.
- Kundensupport-Agent: Wir würden mit LangSmith anfangen.
- Coding-Agent: Wir würden mit Langfuse anfangen.
- Recherche und Knowledge Graph: Wir würden mit Arize Phoenix anfangen.
- Assistent mit Langzeitgedächtnis: Wir würden mit Langfuse anfangen.
- Sprachagent: Wir würden mit Langfuse anfangen.
- Dokumentenverarbeitung: Wir würden mit Opik anfangen.
- Dein eigenes feinabgestimmtes Modell: Wir würden mit Langfuse anfangen.
- Workflow-Automatisierung: Wir würden mit Langfuse anfangen.