Observabilidad de LLM
La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.
También llamado: tracing, LLM monitoring, LLM tracing, traces, spans
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Un servicio web normal falla de forma visible: una excepción, un error 500. Una aplicación con LLM suele fallar en silencio, con una respuesta errónea dicha con seguridad o un agente que encadena muchas llamadas a herramientas antes de rendirse. Las herramientas de observabilidad capturan el detalle suficiente para ver qué pasó y por qué.
Trazas de LLM
La unidad básica es la traza. OpenTelemetry, un estándar abierto que admiten muchas de estas herramientas, define una traza como el recorrido de una petición por una aplicación, y un span como una unidad de trabajo dentro de ella. En una aplicación con LLM, una pregunta de un usuario se convierte en una traza, y sus spans pueden ser la consulta de recuperación, el reranker, cada llamada al modelo y cada llamada a herramientas, anidados en el orden en que se ejecutaron. Cada span registra sus entradas, salidas, tiempos y atributos como el nombre del modelo y el número de tokens. OpenTelemetry también mantiene convenciones semánticas para la IA generativa, de modo que distintas herramientas etiqueten estos campos de la misma forma.
Qué hacen los equipos con ella
Depurar una mala respuesta concreta leyendo la traza completa. Detectar pasos lentos y costes de tokens al alza. Agrupar fallos para encontrar patrones. Asociar los comentarios de los usuarios a las trazas y convertir fallos reales en casos de prueba para la evaluación de LLM y las pruebas de regresión. Muchas plataformas combinan trazas con evals, por ejemplo Langfuse, Arize Phoenix y LangSmith. La guía de la etapa de observabilidad las compara.
Límites y precauciones
Las trazas guardan todo lo que escribieron los usuarios, que a menudo incluye datos personales o confidenciales, así que aplícales redacción de PII y controles de acceso como harías con una base de datos de producción. Registrar cada token de cada petición también cuesta almacenamiento, por lo que los equipos muestrean el tráfico intenso.
Términos relacionados
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Pruebas de regresión (aplicaciones con LLM)
- Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.
- LLM gateway
- Un LLM gateway (pasarela de LLM) es un servidor proxy situado entre tus aplicaciones y los proveedores de modelos que expone una sola API y gestiona en un único lugar las claves, el enrutamiento, los fallbacks, los límites de uso, el registro y el control del gasto.
- Precio por token
- El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
- Redacción de PII
- La redacción de PII (PII redaction) es la detección y eliminación o enmascarado de información de identificación personal, como nombres, números de teléfono, direcciones y números de tarjeta, en textos o imágenes antes de enviarlos a un modelo, guardarlos en logs o mostrarlos a otras personas.