Was ist OpenLLMetry?
OpenLLMetry ist eine Sammlung von OpenTelemetry-Erweiterungen, die LLM-Aufrufe als Standard-Spans erfassen. Instrumentiert werden Modellanbieter wie OpenAI und Azure OpenAI, Anthropic, AWS Bedrock und SageMaker, Google Gemini und Vertex AI, Cohere, Mistral, Groq, Ollama und Hugging Face, dazu Vektordatenbanken wie Chroma, Pinecone, Qdrant, Milvus und Weaviate, Agenten-Frameworks wie LangGraph, CrewAI und das OpenAI Agents SDK sowie MCP. Das Traceloop SDK richtet das mit einer Zeile ein; Teams, die schon OpenTelemetry nutzen, können stattdessen die einzelnen Instrumentierungen hinzufügen.
Ein Backend ist es nicht. Traces gehen an jedes OpenTelemetry-Ziel, und das README nennt 24 getestete, darunter Datadog, Grafana, Honeycomb, New Relic, Dynatrace, Splunk, Sentry, Braintrust und einen einfachen OpenTelemetry Collector. Laut Projekt sind seine semantischen Konventionen für LLM-Spans inzwischen Teil von OpenTelemetry. Ein separates Repository deckt JavaScript und TypeScript ab.
Entwickelt wird es von Traceloop unter Apache 2.0; Version 0.62.4 erschien am 29. September 2026. ServiceNow kündigte im März 2026 die Übernahme von Traceloop an, meldete sie am 5. Mai als abgeschlossen und hat das gehostete Produkt in seinen AI Control Tower eingegliedert.
Lohnt sich OpenLLMetry?
OpenLLMetry löst das Lock-in-Problem auf der richtigen Ebene. Statt ein Hersteller-SDK einzuführen, sendest du Standard-Spans von OpenTelemetry und leitest sie an das Observability-Werkzeug, für das du schon zahlst, oder an Langfuse, Braintrust oder Phoenix, und kannst es dir später anders überlegen, ohne den Anwendungscode anzufassen. Es hat rund 7.500 GitHub-Sterne, doch die Zahl unterschätzt seine Reichweite: Frameworks wie Haystack und LlamaIndex dokumentieren es als ihren Weg zum Tracing.
Die Voreinstellungen verdienen einen genaueren Blick, als die Einrichtung in einer Zeile vermuten lässt. Ohne Exporter aufgerufen, schickt Traceloop.init() Traces an api.traceloop.com und erzeugt automatisch einen API-Schlüssel, und laut Datenschutzdokumentation werden Prompts, Completions und Embeddings standardmäßig in Span-Attribute geschrieben. Ein Team, das es installiert, um Datadog zu füttern, kann also vom ersten Tag an Kunden-Prompts an einen Dritten senden. TRACELOOP_BASE_URL oder ein eigener Exporter und, wo Inhalte sensibel sind, TRACELOOP_TRACE_CONTENT=false beheben beides. Das SDK selbst sammelt seit v0.49.2 keine Telemetrie mehr.
Allein speichert es nichts und zeigt nichts: keinen Trace-Viewer, kein Kosten-Dashboard, keine Evals. LLM-fähige Backends wie Langfuse oder Phoenix machen aus den Spans weit mehr als ein allgemeines APM-Werkzeug, das einen Prompt womöglich als undurchsichtiges Attribut anzeigt. Die konkurrierenden OpenInference-Konventionen von Arize bestehen daneben: Am 16. Juni 2026 nahm OpenTelemetry den Instrumentierungscode von OpenInference als Spende an, nicht aber dessen Konventionen, und Backends lesen mal die einen, mal die anderen besser.
Langfristig ist die Eigentümerschaft die Frage. ServiceNow hat Traceloop für seinen AI Control Tower gekauft, und die gehostete kostenlose Stufe bewahrt Daten nur 24 Stunden auf, was nach einem Trichter in Richtung Enterprise aussieht. Die Instrumentierungen stehen unter Apache 2.0 und sind portabel, das realistische Risiko ist also eine langsamere Pflege, wenn Anbieter ihre APIs ändern, und kein Lizenzwechsel.
Wo es sich lohnt
Ein SRE-Team bei einem Händler, der schon für Datadog zahlt
LLM-Latenz, Fehler und Token-Zahlen neben dem Rest des Stacks sehen
pip install traceloop-sdk, Traceloop.init() mit dem OTLP-Exporter aufrufen, der auf den Datadog-Agenten zeigt, und TRACELOOP_TRACE_CONTENT=false setzen, wenn Prompts Kundendaten enthalten. Keine neue Herstellerrechnung; Datadog berechnet die zusätzlichen Spans zu seinen üblichen Tarifen.
Ein Platform Engineer, der das Tracing über fünf LLM-Dienste vereinheitlicht
Einmal instrumentieren und die Option behalten, das Backend zu wechseln
Füge einem bestehenden OpenTelemetry-Setup nur die Pakete opentelemetry-instrumentation-openai und -anthropic hinzu, exportiere an einen Collector und verteile von dort an Langfuse fürs LLM-Debugging und an Grafana für Dashboards.
Ein Head of Engineering bei einem Start-up mit 20 Leuten
LLM-Observability bekommen, ohne schon für eine Plattform zu zahlen
Die gehostete Free-Stufe von Traceloop deckt 50.000 Spans im Monat ab, wobei jeder LLM- oder Vektoraufruf als einer zählt, mit 24 Stunden Aufbewahrung; ein selbst gehostetes Langfuse oder Phoenix hinter OpenLLMetry hält eine längere Historie für die Kosten eines kleinen Servers.
Bevor du dich festlegst
- Einrichtung
- pip install traceloop-sdk und eine Zeile Traceloop.init(), oder einzelne opentelemetry-instrumentation-*-Pakete zu einem bestehenden OpenTelemetry-Setup hinzufügen; sobald ein Exporter gesetzt ist, erscheinen Traces innerhalb von Minuten.
- Integrationen
- 16 Modellanbieter, 7 Vektordatenbanken, Frameworks wie LangChain, LangGraph, LlamaIndex, CrewAI, Agno und OpenAI Agents, MCP sowie 24 getestete Ziele; es gibt eine Portierung für JavaScript.
- Daten und Datenschutz
- Apache 2.0. Prompts, Completions und Embeddings werden standardmäßig erfasst (TRACELOOP_TRACE_CONTENT=false schaltet das ab), und das SDK exportiert an api.traceloop.com, sofern du keinen anderen Endpunkt konfigurierst. Seit v0.49.2 keine SDK-Telemetrie; keine veröffentlichten Sicherheitshinweise auf GitHub.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; die Kosten stecken im Backend. Traceloop Free deckt 50.000 Spans im Monat mit 24 Stunden Aufbewahrung ab, Enterprise auf Angebot; bei Datadog, Honeycomb oder einem selbst gehosteten Langfuse zahlst du deren Span- oder Hosting-Tarife.
- Grenzen
- Rund 800 offene Issues und Pull Requests, Instrumentierungen, die brechen, wenn sich die SDKs der Anbieter ändern, und Span-Attribute, die allgemeine APM-Werkzeuge schlechter darstellen als LLM-spezifische Backends.
Was gut ist
- Standard-Spans von OpenTelemetry, kein Lock-in
- Instrumentiert die meisten Anbieter, Vektordatenbanken und Agenten-Frameworks
- 24 getestete Backends
- Seit v0.49.2 keine SDK-Telemetrie
Was nicht
- Die Voreinstellungen schicken Traces samt Prompt-Inhalt an die Traceloop-Cloud
- Kein Backend; braucht ein Ziel
- Konkurrierende semantische Konventionen mit OpenInference
- Eigentümer ist jetzt ServiceNow
Am besten für
Teams mit OpenTelemetry als Standard, die LLM-Traces ohne Hersteller-SDK in ihrem bestehenden Observability-Stack wollen.
Alternativen zu OpenLLMetry
OpenLLMetry: häufige Fragen
- Lohnt sich OpenLLMetry?
- Instrumentiere LLM-Aufrufe einmal in Standard-OpenTelemetry und behalte die freie Wahl des Backends, nachdem du zuerst zwei Voreinstellungen geändert hast, die vollständige Prompts an die Cloud von Traceloop schicken. Wir bewerten es mit 4.1 von 5.
- Was kostet OpenLLMetry?
- Kostenlos und Open Source unter Apache 2.0. Die gehostete Plattform von Traceloop, inzwischen im Besitz von ServiceNow: Free bis 50.000 Spans im Monat mit 24 Stunden Aufbewahrung; Enterprise (SOC 2, On-Premises) auf Angebot.
- Welche Nachteile hat OpenLLMetry?
- Die Voreinstellungen schicken Traces samt Prompt-Inhalt an die Traceloop-Cloud; Kein Backend; braucht ein Ziel; Konkurrierende semantische Konventionen mit OpenInference; Eigentümer ist jetzt ServiceNow.
- Für wen eignet sich OpenLLMetry?
- Teams mit OpenTelemetry als Standard, die LLM-Traces ohne Hersteller-SDK in ihrem bestehenden Observability-Stack wollen.
- Was kostet OpenLLMetry für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; die Kosten stecken im Backend. Traceloop Free deckt 50.000 Spans im Monat mit 24 Stunden Aufbewahrung ab, Enterprise auf Angebot; bei Datadog, Honeycomb oder einem selbst gehosteten Langfuse zahlst du deren Span- oder Hosting-Tarife.
- Ist OpenLLMetry sicher für Firmendaten?
- Apache 2.0. Prompts, Completions und Embeddings werden standardmäßig erfasst (TRACELOOP_TRACE_CONTENT=false schaltet das ab), und das SDK exportiert an api.traceloop.com, sofern du keinen anderen Endpunkt konfigurierst. Seit v0.49.2 keine SDK-Telemetrie; keine veröffentlichten Sicherheitshinweise auf GitHub.
- Was sind die besten Alternativen zu OpenLLMetry?
- Die nächsten Alternativen, die wir getestet haben, sind Langfuse, Arize Phoenix und Opik.
Antworten geprüft am 26. Okt. 2026.