¿Qué es OpenLLMetry?
OpenLLMetry es un conjunto de extensiones de OpenTelemetry que registran las llamadas a LLM como spans estándar. Instrumenta proveedores de modelos como OpenAI y Azure OpenAI, Anthropic, AWS Bedrock y SageMaker, Google Gemini y Vertex AI, Cohere, Mistral, Groq, Ollama y Hugging Face, además de bases de datos vectoriales como Chroma, Pinecone, Qdrant, Milvus y Weaviate, frameworks de agentes como LangGraph, CrewAI y el OpenAI Agents SDK, y MCP. El Traceloop SDK lo configura en una línea; los equipos que ya usan OpenTelemetry pueden añadir las instrumentaciones individuales.
No es un backend. Las trazas van a cualquier destino de OpenTelemetry, y el README enumera 24 probados, entre ellos Datadog, Grafana, Honeycomb, New Relic, Dynatrace, Splunk, Sentry, Braintrust y un OpenTelemetry Collector sin más. El proyecto dice que sus convenciones semánticas para spans de LLM forman ya parte de OpenTelemetry. Un repositorio aparte cubre JavaScript y TypeScript.
Lo desarrolla Traceloop con licencia Apache 2.0; la versión 0.62.4 se publicó el 29 de septiembre de 2026. ServiceNow anunció la compra de Traceloop en marzo de 2026 y la dio por completada el 5 de mayo, integrando el producto alojado en su AI Control Tower.
¿Merece la pena OpenLLMetry?
OpenLLMetry resuelve la dependencia de proveedor en la capa adecuada. En lugar de adoptar el SDK de un proveedor, emites spans estándar de OpenTelemetry y los envías a la herramienta de observabilidad que ya pagas, o a Langfuse, Braintrust o Phoenix, y puedes cambiar de idea más adelante sin tocar el código de la aplicación. Tiene unas 7.500 estrellas en GitHub, pero esa cifra subestima su alcance: frameworks como Haystack y LlamaIndex lo documentan como su vía de tracing.
Los valores por defecto merecen una mirada más atenta de lo que sugiere la configuración de una línea. Si se llama sin exportador, Traceloop.init() envía las trazas a api.traceloop.com y genera una clave de API automáticamente, y la documentación de privacidad dice que las instrucciones, las respuestas y los embeddings se escriben por defecto en los atributos de los spans. Un equipo que lo instala para alimentar Datadog puede, por tanto, enviar instrucciones de clientes a un tercero el primer día. Definir TRACELOOP_BASE_URL o un exportador propio, y TRACELOOP_TRACE_CONTENT=false cuando el contenido sea sensible, resuelve ambas cosas. El propio SDK dejó de recoger telemetría a partir de la v0.49.2.
Por sí solo no guarda ni muestra nada: no hay visor de trazas, ni panel de costes, ni evaluaciones. Los backends que entienden de LLM, como Langfuse o Phoenix, aprovechan los spans mucho mejor que una herramienta APM genérica, que puede mostrar una instrucción como un atributo opaco. Las convenciones rivales OpenInference de Arize conviven con las suyas: el 16 de junio de 2026 OpenTelemetry aceptó como donación el código de instrumentación de OpenInference, pero no sus convenciones, y cada backend lee mejor unas u otras.
La propiedad es la cuestión a largo plazo. ServiceNow compró Traceloop para su AI Control Tower, y su nivel gratuito alojado solo guarda 24 horas de datos, lo que parece un embudo hacia Enterprise. Las instrumentaciones son Apache 2.0 y portables, así que el riesgo realista es un mantenimiento más lento a medida que los proveedores cambian sus APIs, no un cambio de licencia.
Dónde se gana su sitio
Un equipo de SRE de una cadena minorista que ya paga Datadog
Ver la latencia, los errores y los tokens de los LLM junto al resto de la pila
pip install traceloop-sdk, llamar a Traceloop.init() con el exportador OTLP apuntando al agente de Datadog y definir TRACELOOP_TRACE_CONTENT=false si las instrucciones contienen datos de clientes. No hay factura de un proveedor nuevo; Datadog cobra los spans adicionales a sus tarifas habituales.
Un ingeniero de plataforma que estandariza el tracing en cinco servicios de LLM
Instrumentar una vez y conservar la opción de cambiar de backend
Añadir solo los paquetes opentelemetry-instrumentation-openai y -anthropic a una configuración de OpenTelemetry existente, exportar a un Collector y repartir hacia Langfuse para depurar los LLM y hacia Grafana para los paneles.
La responsable de ingeniería de una start-up de 20 personas
Tener observabilidad de LLM sin pagar todavía una plataforma
El nivel Free alojado de Traceloop cubre 50.000 spans al mes, contando cada llamada a un LLM o a una base vectorial como uno, con retención de 24 horas; un Langfuse o Phoenix autoalojado detrás de OpenLLMetry guarda más historial por el coste de un servidor pequeño.
Antes de decidirte
- Puesta en marcha
- pip install traceloop-sdk y una línea Traceloop.init(), o añadir paquetes opentelemetry-instrumentation-* individuales a una configuración de OpenTelemetry existente; las trazas aparecen en minutos una vez definido un exportador.
- Integraciones
- 16 proveedores de modelos, 7 bases de datos vectoriales, frameworks como LangChain, LangGraph, LlamaIndex, CrewAI, Agno y OpenAI Agents, MCP y 24 destinos probados; existe una versión para JavaScript.
- Datos y privacidad
- Apache 2.0. Las instrucciones, respuestas y embeddings se capturan por defecto (TRACELOOP_TRACE_CONTENT=false lo desactiva), y el SDK exporta a api.traceloop.com salvo que configures otro endpoint. Sin telemetría del SDK desde la v0.49.2; no hay avisos de seguridad publicados en GitHub.
- Coste a escala
- La biblioteca es gratis; el coste es el backend. Traceloop Free cubre 50.000 spans al mes con retención de 24 horas y Enterprise se presupuesta; con Datadog, Honeycomb o un Langfuse autoalojado pagas sus tarifas por span o de alojamiento.
- Límites
- Unas 800 incidencias y pull requests abiertas, instrumentaciones que se rompen cuando cambian los SDK de los proveedores, y atributos de span que las herramientas APM genéricas muestran peor que los backends específicos para LLM.
Lo bueno
- Spans estándar de OpenTelemetry, sin dependencia de proveedor
- Instrumenta la mayoría de proveedores, bases de datos vectoriales y frameworks de agentes
- 24 backends probados
- Sin telemetría del SDK desde la v0.49.2
Lo malo
- Por defecto envía trazas, con el contenido de las instrucciones, a la nube de Traceloop
- No es un backend; necesita un destino
- Convenciones semánticas en competencia con OpenInference
- Ahora pertenece a ServiceNow
Ideal para
Equipos estandarizados en OpenTelemetry que quieren trazas de LLM en su pila de observabilidad actual sin el SDK de un proveedor.
Alternativas a OpenLLMetry
OpenLLMetry: preguntas frecuentes
- ¿Merece la pena OpenLLMetry?
- Instrumenta las llamadas a LLM una sola vez en OpenTelemetry estándar y conserva la libertad de elegir backend, después de cambiar dos valores por defecto que envían las instrucciones completas a la nube de Traceloop. Le damos un 4.1 sobre 5.
- ¿Cuánto cuesta OpenLLMetry?
- Gratis y de código abierto bajo Apache 2.0. La plataforma alojada de Traceloop, ahora de ServiceNow: Free hasta 50.000 spans al mes con retención de 24 horas; Enterprise (SOC 2, on-prem) bajo presupuesto.
- ¿Qué inconvenientes tiene OpenLLMetry?
- Por defecto envía trazas, con el contenido de las instrucciones, a la nube de Traceloop; no es un backend; necesita un destino; convenciones semánticas en competencia con OpenInference; ahora pertenece a ServiceNow.
- ¿Para quién es OpenLLMetry?
- Equipos estandarizados en OpenTelemetry que quieren trazas de LLM en su pila de observabilidad actual sin el SDK de un proveedor.
- ¿Cuánto cuesta OpenLLMetry para un equipo o en producción?
- La biblioteca es gratis; el coste es el backend. Traceloop Free cubre 50.000 spans al mes con retención de 24 horas y Enterprise se presupuesta; con Datadog, Honeycomb o un Langfuse autoalojado pagas sus tarifas por span o de alojamiento.
- ¿Es OpenLLMetry seguro para los datos de la empresa?
- Apache 2.0. Las instrucciones, respuestas y embeddings se capturan por defecto (TRACELOOP_TRACE_CONTENT=false lo desactiva), y el SDK exporta a api.traceloop.com salvo que configures otro endpoint. Sin telemetría del SDK desde la v0.49.2; no hay avisos de seguridad publicados en GitHub.
- ¿Cuáles son las mejores alternativas a OpenLLMetry?
- Las alternativas más cercanas que hemos analizado son Langfuse, Arize Phoenix y Opik.
Respuestas comprobadas el 26 oct 2026.