Qu’est-ce que OpenLLMetry ?
OpenLLMetry est un ensemble d'extensions OpenTelemetry qui enregistrent les appels LLM comme des spans standards. Il instrumente des fournisseurs de modèles dont OpenAI et Azure OpenAI, Anthropic, AWS Bedrock et SageMaker, Google Gemini et Vertex AI, Cohere, Mistral, Groq, Ollama et Hugging Face, plus des bases de données vectorielles comme Chroma, Pinecone, Qdrant, Milvus et Weaviate, des frameworks d'agents comme LangGraph, CrewAI et l'OpenAI Agents SDK, et MCP. Le SDK Traceloop le configure en une ligne ; les équipes qui utilisent déjà OpenTelemetry peuvent ajouter les instrumentations individuelles à la place.
Ce n'est pas un backend. Les traces vont vers n'importe quelle destination OpenTelemetry, et le README en liste 24 testées, dont Datadog, Grafana, Honeycomb, New Relic, Dynatrace, Splunk, Sentry, Braintrust et un simple OpenTelemetry Collector. Le projet dit que ses conventions sémantiques pour les spans LLM font désormais partie d'OpenTelemetry. Un dépôt séparé couvre JavaScript et TypeScript.
Il est construit par Traceloop et sous licence Apache 2.0 ; la version 0.62.4 est sortie le 29 septembre 2026. ServiceNow a annoncé son acquisition de Traceloop en mars 2026 et l'a décrite comme finalisée le 5 mai, intégrant le produit hébergé dans son AI Control Tower.
OpenLLMetry vaut-il le coup ?
OpenLLMetry r ésout le problème du verrouillage à la bonne couche. Au lieu d'adopter un SDK de fournisseur, vous émettez des spans OpenTelemetry standards et les routez vers l'outil d'observabilité que vous payez déjà, ou vers Langfuse, Braintrust ou Phoenix, et changez d'avis plus tard sans toucher au code de l'application. Il a environ 7 500 étoiles GitHub, mais le compte d'étoiles sous-estime sa portée : des frameworks comme Haystack et LlamaIndex le documentent comme leur voie de traçage.
Les réglages par défaut méritent un regard plus attentif que la configuration en une ligne ne le suggère. Appelé sans exporteur, Traceloop.init() envoie les traces à api.traceloop.com et génère une clé d'API automatiquement, et la documentation de confidentialité dit que les prompts, complétions et embeddings sont écrits dans les attributs de span par défaut. Une équipe qui l'installe pour alimenter Datadog peut donc envoyer les prompts clients à un tiers dès le premier jour. Régler TRACELOOP_BASE_URL ou un exporteur personnalisé, et TRACELOOP_TRACE_CONTENT=false là où le contenu est sensible, corrige les deux. Le SDK lui-même a cessé de collecter de la télémétrie à partir de la v0.49.2.
Seul, il ne stocke rien et ne montre rien : pas de visionneuse de traces, pas de tableau de bord de coûts, pas d'évaluations. Les backends conscients des LLM comme Langfuse ou Phoenix font bien meilleur usage des spans qu'un outil APM général, qui peut montrer un prompt comme un attribut opaque. Les conventions OpenInference concurrentes d'Arize coexistent : le 16 juin 2026, OpenTelemetry a accepté le code d'instrumentation d'OpenInference comme donation, mais pas ses conventions, et les backends varient dans celles qu'ils lisent le mieux.
La propriété est la question à long terme. ServiceNow a acheté Traceloop pour son AI Control Tower, et son palier gratuit hébergé ne garde que 24 heures de données, ce qui se lit comme un entonnoir vers l'Enterprise. Les instrumentations sont Apache 2.0 et portables, si bien que le risque réaliste est une maintenance plus lente à mesure que les fournisseurs changent leurs API, pas un changement de licence.
Là où il fait la différence
Une équipe SRE chez un détaillant qui paie déjà Datadog
Voir la latence, les erreurs et les décomptes de tokens des LLM à côté du reste de la pile
pip install traceloop-sdk, appelez Traceloop.init() avec l'exporteur OTLP pointé vers l'agent Datadog, et réglez TRACELOOP_TRACE_CONTENT=false si les prompts contiennent des données clients. Pas de nouvelle facture fournisseur ; Datadog facture les spans supplémentaires à ses tarifs habituels.
Un ingénieur plateforme qui standardise le traçage sur cinq services LLM
Instrumenter une fois et garder l'option de changer de backend
Ajoutez seulement les paquets opentelemetry-instrumentation-openai et -anthropic à une configuration OpenTelemetry existante, exportez vers un Collector, et déployez vers Langfuse pour le débogage LLM et Grafana pour les tableaux de bord.
Un responsable d'ingénierie dans une start-up de 20 personnes
Obtenir l'observabilité LLM sans encore payer pour une plateforme
Le palier Free hébergé de Traceloop couvre 50 000 spans par mois, chaque appel LLM ou vectoriel comptant comme un, avec rétention de 24 heures ; un Langfuse ou Phoenix auto-hébergé derrière OpenLLMetry garde un historique plus long pour le coût d'un petit serveur.
Avant de vous engager
- Mise en route
- pip install traceloop-sdk et une ligne Traceloop.init(), ou ajoutez des paquets opentelemetry-instrumentation-* individuels à une configuration OpenTelemetry existante ; les traces apparaissent en quelques minutes une fois un exporteur défini.
- Intégrations
- 16 fournisseurs de modèles, 7 bases de données vectorielles, des frameworks dont LangChain, LangGraph, LlamaIndex, CrewAI, Agno et OpenAI Agents, MCP, et 24 destinations testées ; un portage JavaScript existe.
- Données et confidentialité
- Apache 2.0. Les prompts, complétions et embeddings sont capturés par défaut (TRACELOOP_TRACE_CONTENT=false désactive), et le SDK exporte vers api.traceloop.com sauf si vous configurez un autre endpoint. Pas de télémétrie du SDK depuis la v0.49.2 ; pas d'avis de sécurité GitHub publiés.
- Coût à grande échelle
- La bibliothèque est gratuite ; le coût est le backend. Traceloop Free couvre 50 000 spans par mois avec rétention de 24 heures, l'Enterprise est sur devis ; avec Datadog, Honeycomb ou un Langfuse auto-hébergé, vous payez leurs tarifs de spans ou d'hébergement.
- Limites
- Environ 800 issues et pull requests ouvertes, cassure d'instrumentation quand les SDK des fournisseurs changent, et des attributs de span que les outils APM généraux affichent mal comparés aux backends spécifiques aux LLM.
Les points forts
- Spans OpenTelemetry standards, pas de verrouillage fournisseur
- Instrumente la plupart des fournisseurs, bases de données vectorielles et frameworks d'agents
- 24 backends testés
- Pas de télémétrie du SDK depuis la v0.49.2
Les points faibles
- Les défauts envoient les traces, avec le contenu des prompts, au cloud de Traceloop
- Pas un backend ; a besoin d'une destination
- Conventions sémantiques concurrentes avec OpenInference
- Propriétaire désormais ServiceNow
Idéal pour
Les équipes standardisées sur OpenTelemetry qui veulent les traces LLM dans leur pile d'observabilité existante sans SDK fournisseur.
Alternatives à OpenLLMetry
OpenLLMetry : questions fréquentes
- OpenLLMetry vaut-il le coup ?
- Instrumentez les appels LLM une fois en OpenTelemetry standard et gardez votre choix de backend, après avoir d'abord changé deux réglages par défaut qui envoient les prompts complets au cloud de Traceloop. Nous lui donnons 4.1 sur 5.
- Combien coûte OpenLLMetry ?
- Gratuit et open source sous Apache 2.0. La plateforme hébergée de Traceloop, désormais détenue par ServiceNow : Free jusqu'à 50 000 spans par mois avec rétention de 24 heures ; Enterprise (SOC 2, sur site) sur devis.
- Quels sont les inconvénients de OpenLLMetry ?
- Les défauts envoient les traces, avec le contenu des prompts, au cloud de Traceloop; pas un backend ; a besoin d'une destination; conventions sémantiques concurrentes avec OpenInference; propriétaire désormais ServiceNow.
- À qui s’adresse OpenLLMetry ?
- Les équipes standardisées sur OpenTelemetry qui veulent les traces LLM dans leur pile d'observabilité existante sans SDK fournisseur.
- Combien coûte OpenLLMetry pour une équipe ou en production ?
- La bibliothèque est gratuite ; le coût est le backend. Traceloop Free couvre 50 000 spans par mois avec rétention de 24 heures, l'Enterprise est sur devis ; avec Datadog, Honeycomb ou un Langfuse auto-hébergé, vous payez leurs tarifs de spans ou d'hébergement.
- OpenLLMetry est-il sûr pour les données de l’entreprise ?
- Apache 2.0. Les prompts, complétions et embeddings sont capturés par défaut (TRACELOOP_TRACE_CONTENT=false désactive), et le SDK exporte vers api.traceloop.com sauf si vous configurez un autre endpoint. Pas de télémétrie du SDK depuis la v0.49.2 ; pas d'avis de sécurité GitHub publiés.
- Quelles sont les meilleures alternatives à OpenLLMetry ?
- Les alternatives les plus proches que nous avons testées sont Langfuse, Arize Phoenix et Opik.
Réponses vérifiées le 26 oct. 2026.