Evaluación

Qué tener en cuenta

Las preguntas que distinguen las opciones, por orden de importancia.

1. 01

   Tu propio conjunto de pruebas, no una clasificación

   Los benchmarks públicos como MMLU o GSM8K, ejecutados con herramientas como LM Evaluation Harness, comparan modelos en general; dicen poco sobre tus prompts, tus documentos o tus usuarios. La evaluación más útil son entre 50 y 200 ejemplos reales de tu producto con respuestas correctas conocidas, ampliados cada vez que un error llega a producción. Usa los entornos de benchmarks para comprobar que un fine-tuning o un cambio de modelo no ha estropeado la capacidad general, y tu propio conjunto para todo lo demás.

2. 02

   Pruebas offline y puntuación online

   La evaluación offline ejecuta un conjunto de datos fijo antes de publicar, como las pruebas unitarias. La evaluación online puntúa una muestra de trazas reales de producción con las mismas métricas y detecta problemas que tu conjunto de pruebas no contiene. Las plataformas que hacen ambas cosas (Braintrust, Opik, Arize Phoenix) permiten que una traza de producción fallida se convierta en un nuevo caso de prueba; bibliotecas como promptfoo, DeepEval y Ragas son offline salvo que se combinen con una herramienta de trazas.

3. 03

   Fiabilidad del LLM como juez

   La mayoría de métricas de calidad piden a otro modelo que califique la respuesta. Los jueces varían entre ejecuciones, favorecen las respuestas más largas o más seguras y cuestan dinero por cada puntuación. Revisa a mano una muestra de los veredictos del juez, fija el modelo y el prompt del juez para que las puntuaciones sean comparables en el tiempo, y prefiere comprobaciones exactas (coincidencia de cadenas, esquema JSON, ejecución de código) siempre que la tarea lo permita.

4. 04

   Métricas de RAG que separan la recuperación de la generación

   En las apps con generación aumentada por recuperación necesitas saber si se encontraron los documentos correctos (precisión y recall del contexto) y si la respuesta se ciñó a ellos (fidelidad). Ragas popularizó estas definiciones; DeepEval, promptfoo y la biblioteca de código abierto autoevals de Braintrust también las implementan ya. Una única puntuación general de 'corrección' oculta qué mitad del pipeline ha fallado.

5. 05

   Integración con CI

   Las evaluaciones solo evitan regresiones si se ejecutan automáticamente con cada cambio de prompt, de modelo o de recuperación. promptfoo usa una configuración YAML y una CLI pensadas para CI; DeepEval y Opik se integran con pytest; Inspect y LM Evaluation Harness se ejecutan como trabajos de Python o de CLI. Fija un umbral de aprobado por métrica y haz que la build falle cuando baje, en lugar de leer paneles a posteriori.

6. 06

   Gestión y versionado del conjunto de pruebas

   Los conjuntos de datos cambian a medida que añades casos y corriges etiquetas, así que los resultados solo son comparables si sabes qué versión del conjunto los produjo. Las plataformas alojadas guardan conjuntos de datos, experimentos y sus diferencias; las herramientas basadas en archivos dependen de que guardes los casos de prueba en Git. Las dos opciones funcionan, pero decídelo antes de que el conjunto pase de unos pocos cientos de ejemplos.

7. 07

   Soporte para evaluar agentes

   Los agentes necesitan algo más que comprobaciones de entrada y salida: ¿llamaron a las herramientas correctas, en un orden razonable, dentro del presupuesto y sin acciones peligrosas? Inspect es la opción abierta más sólida para evaluaciones de agentes en sandbox; DeepEval incluye métricas de agentes. Comprueba que la herramienta puede puntuar una traza completa, no solo el mensaje final.

8. 08

   Mantenimiento y licencia

   Ragas no publica versiones desde enero de 2026 y su equipo se ha dedicado a otras cosas; promptfoo pertenece ahora a OpenAI; Arize Phoenix tiene el código disponible bajo la Elastic License 2.0, pero no es código abierto. Nada de esto descarta a ninguno, pero importa en una herramienta que va a estar años en tu CI.

16 herramientas comparadas

Ordenadas por nuestra nota. Abre cualquier reseña para ver las fuentes, los precios y el veredicto completo.

Comparativa de herramientas de Evaluación

Herramienta	Nota	Nuestro veredicto	Ideal para	Precio
Langfuserepo	4.6/5	Trazas de LLM neutrales respecto al framework que puedes poseer por completo: la versión gratuita autoalojada cubre casi todo, y la nube tiene precio ajustado hasta la unidad.	Equipos que quieren trazas y evaluación neutrales respecto al framework, para autoalojar gratis o contratar como servicio en la nube a un precio razonable.	Gratuito y de código abierto bajo MIT, salvo las carpetas ee/, con licencia comercial. Nube: Hobby gratis (50k unidades/mes); Core 29 $/mes; Pro 199 $/mes (complemento Teams +300 $); Enterprise 2.499 $/mes; exceso a 8 $ por cada 100k unidades, que baja a 6 $ por encima de 50M.
promptfoorepo	4.5/5	promptfoo convierte las pruebas de regresión de LLM y los análisis de red team en un archivo YAML y un solo comando de CI; su nuevo propietario es lo que hay que vigilar.	Equipos que lanzan apps de LLM y quieren pruebas de regresión y análisis de seguridad en CI.	CLI gratis y de código abierto (MIT); el uso Community incluye red teaming hasta 10.000 sondeos al mes. Enterprise (nube gestionada) y On-Premise se presupuestan.
Inspectrepo	4.4/5	Inspect es el entorno de pruebas compartido de las evaluaciones de seguridad de IA gubernamentales e independientes; los equipos de producto que comprueban prompts en CI lo encontrarán más framework de lo que necesitan.	Investigadores y equipos de seguridad que ejecutan evaluaciones de agentes y de capacidades.	Gratuito y de código abierto bajo la licencia MIT.
LM Evaluation Harnessrepo	4.4/5	La vara de medir común para los benchmarks de modelos, y el instrumento equivocado para juzgar una aplicación construida sobre uno.	Investigadores y equipos que entrenan modelos y los comparan con benchmarks estándar.	Gratuito y de código abierto bajo licencia MIT.
MLflowrepo	4.4/5	Sigue siendo el sitio por defecto para registrar experimentos de ML, ahora con tracing y evaluación de LLM incluidos gratis; protege el servidor antes de que nadie más pueda llegar a él.	Equipos de Python que entrenan modelos y crean funciones con LLM y quieren un único sistema de registro gratuito y autoalojado para ambas cosas.	Gratis y de código abierto bajo Apache-2.0; solo pagas el servidor, la base de datos y el almacenamiento de objetos. MLflow gestionado en Databricks no tiene precio de lista propio y se factura a través del cómputo de Databricks; la Free Edition es solo para uso personal.
Braintrustherramienta	4.3/5	Braintrust es para equipos cuya pregunta más difícil es si el último cambio mejoró el producto, y factura por datos en lugar de por persona, lo que conviene a los equipos grandes y escuece a los agentes que registran mucho.	Equipos de producto que quieren desarrollo guiado por evaluaciones con trazado alojado y no les importa pagar por un servicio gestionado.	Starter gratis (1 GB de datos, 10k puntuaciones, 10 $ en créditos de modelos, retención de 14 días, usuarios ilimitados; después 4 $/GB y 2,50 $ por 1.000 puntuaciones). Pro 249 $/mes (5 GB, 50k puntuaciones, 100 $ en créditos de modelos, retención de 30 días; después 3 $/GB y 1,50 $ por 1.000 puntuaciones). Enterprise a medida, con SAML, BAA y plano de datos autoalojado. Las startups que cumplen requisitos tienen Pro gratis de 6 a 12 meses.
DeepEvalrepo	4.2/5	Una biblioteca de evaluación al estilo de pytest muy capaz cuyo coste real es la factura del modelo juez, con una plataforma de 200 $ al mes al final del embudo.	Equipos de Python que añaden controles de calidad automáticos a aplicaciones con LLM.	Gratuito y de código abierto con licencia Apache 2.0. La plataforma alojada de Confident AI es un producto de pago aparte.
Arize Phoenixrepo	4.2/5	Phoenix tiene el ciclo de evaluación más sólido de las herramientas abiertas de trazas, envuelto en una licencia y un propietario de los que los equipos legales querrán hablar.	Ingenieros y científicos de datos que quieren trazas basadas en estándares con un ciclo de evaluación sólido, empezando en un portátil.	Gratuito para autoalojar con la Elastic License 2.0 (código disponible; no se puede alojar como servicio para terceros). Arize AX gestionado: Free (25k spans al mes, 15 días de retención, 1 GB); Pro 50 $/mes (50k spans, 30 días, 10 GB); Enterprise a medida.
LangSmithherramienta	4.2/5	LangSmith tiene el trazado y la evaluación más profundos y maduros para agentes de LangGraph, vendidos por licencia a un precio que premia a los equipos pequeños con presupuestos grandes.	Equipos que construyen agentes de producción sobre LangChain o LangGraph y quieren trazado, evaluación y despliegue alojados de un solo proveedor.	Developer gratuito (1 licencia, 5.000 trazas base/mes). Plus 39 $/licencia/mes (10.000 trazas base, después pago por uso; un despliegue serverless pequeño). Enterprise a medida, con opciones híbridas o autoalojadas. Trazas base conservadas 14 días, trazas extendidas 180 días.
Opikrepo	4.1/5	Opik regala el servidor completo bajo Apache 2.0 y vende el plan alojado más barato, pero la versión autoalojada no tiene cuentas de usuario y por defecto envía datos a Comet.	Equipos que quieren una plataforma de trazas y evaluación con licencia permisiva y autoalojable, o una alojada de bajo coste.	Gratis y de código abierto bajo Apache 2.0. Cloud: Free (25.000 spans/mes, retención de 60 días); Pro 19 $/mes (100.000 spans, y después 5 $ por cada 100.000; complemento de retención de 400 días a 29 $ por cada 100.000 spans); Enterprise a medida.
Arize AXherramienta	4.1/5	Arize AX ofrece trazado y evaluaciones de agentes serios sobre instrumentación abierta, pero sus planes baratos se agotan rápido y su hoja de ruta pertenece ahora a Dynatrace.	Equipos de ingeniería con agentes en producción que quieren trazado y evaluaciones alojados sobre instrumentación abierta y portable, y pueden negociar un contrato Enterprise.	AX Free 0 $ (25.000 spans, 1 GB al mes, retención de 15 días); AX Pro 50 $/mes (50.000 spans, 10 GB, retención de 30 días); Enterprise a medida con SSO, HIPAA y autoalojamiento. Usuarios ilimitados en todos los planes.
Datadog LLM Observabilityherramienta	4.0/5	Si tu empresa ya vive en Datadog, este es el lugar sensato para vigilar tus agentes, y su facturación por llamada al modelo es más justa de lo que parece a primera vista.	Equipos de ingeniería que ya usan Datadog y quieren las trazas de sus agentes junto a la monitorización de servicios e infraestructura.	Free hasta 40K spans de LLM al mes con 15 días de retención. Pro desde 160 $/mes anual, 200 $ mes a mes o 240 $ bajo demanda, por 100K spans de LLM; después 3,50 $ (anual), 4,20 $ (mes a mes) o 5 $ (bajo demanda) por cada 10K spans de LLM. Complementos de retención a 6,50 $, 8 $ y 9 $ por cada 10K spans al mes para 30, 60 y 90 días. Solo se facturan los spans de LLM.
TruLensrepo	3.9/5	Una biblioteca de evaluación sólida y nativa de OpenTelemetry con una empresa detrás, lastrada por una comunidad pequeña y una inclinación hacia Snowflake.	Equipos de Python que evalúan aplicaciones RAG o agentes, sobre todo los que ya guardan sus datos en Snowflake.	Gratuita y de código abierto con licencia MIT. Pagas las llamadas al modelo juez que hace cada función de feedback; AI Observability alojado de Snowflake es un producto aparte que se factura a través de Snowflake.
Splunk Agent Observabilityherramienta	3.7/5	Los pequeños modelos juez de Galileo abaratan puntuar cada conversación de un agente, pero con Splunk se ha convertido en una compra empresarial con una llamada de ventas por delante.	Grandes organizaciones que ya usan Splunk Observability y quieren puntuar cada conversación de sus agentes y bloquear acciones inseguras en tiempo de ejecución.	Agent Observability desde 100 $/mes por 1,2M spans al año, con facturación anual, con 500M tokens de Luna y 5 ajustes finos de Luna al año; tokens de Luna adicionales y retención ampliada bajo presupuesto. Splunk Observability Cloud Free Edition (hasta 15 hosts, sin caducidad) incluye trazas de agentes. Los antiguos planes Free (5.000 trazas al mes) y Pro (100 $/mes con pago anual, 50.000 trazas) de Galileo ya no se publican.
W&B Weaverepo	3.6/5	Merece la pena activarlo si tus modelos ya viven en Weights & Biases; a 0,10 $ el megabyte, cuesta venderlo a quien empieza de cero.	Equipos que ya usan Weights & Biases para entrenar modelos y quieren las trazas y evaluaciones de LLM en el mismo sitio.	SDK gratuito con Apache 2.0. Alojado: Free (1 GB de ingesta de Weave al mes); Pro desde 60 $/mes (1,5 GB, y después 0,10 $/MB); Enterprise a medida (excedente publicado a 0,20 $/MB), con despliegue dedicado.
Ragasrepo	3.4/5	Los nombres de sus métricas se convirtieron en el vocabulario de la evaluación de RAG, pero el código se ha quedado sin mantenedor.	Equipos con una batería de Ragas ya montada que pueden fijar una versión y mantener sus propias correcciones.	Gratuita y de código abierto con licencia Apache 2.0. Pagas las llamadas a la API del modelo juez que hace cada métrica.

Lado a lado

Las especificaciones que importan en este paso. Comprobado el 19 oct 2026; confírmalo en la web del proveedor antes de decidirte.

Dónde encaja esta etapa

• Chatea con tus documentos: empezaríamos con Ragas.
• Agente de atención al cliente: empezaríamos con DeepEval.
• Agente de programación: empezaríamos con Inspect.
• Investigación y grafo de conocimiento: empezaríamos con Ragas.
• Asistente con memoria a largo plazo: empezaríamos con DeepEval.
• Pipeline de generación de imágenes: empezaríamos con promptfoo.
• Agente de voz: empezaríamos con DeepEval.
• Procesamiento de documentos: empezaríamos con DeepEval.
• Tu propio modelo con fine-tuning: empezaríamos con LM Evaluation Harness.

Fuentes de esta guía

• promptfoo: evaluating RAG pipelines
• Ragas on GitHub
• DeepEval on GitHub
• Inspect on GitHub
• LM Evaluation Harness on GitHub
• autoevals on GitHub
• Braintrust docs