¿Qué es DeepEval?
DeepEval es un framework de código abierto para probar aplicaciones con LLM al estilo de pytest: escribes casos de prueba con entradas y salidas y los evalúas contra métricas, en local o en CI.
Incluye métricas de varias familias: jueces personalizados como G-Eval y el DAG basado en grafos, métricas de RAG (fidelidad, recall y precisión contextuales), métricas de agentes (finalización de tareas, corrección de herramientas, adherencia al plan), métricas multiturno y de agentes de voz, y red teaming. La mayoría las puntúa un LLM juez, OpenAI en la guía de inicio, aunque se puede conectar cualquier modelo. Un paquete de TypeScript (deepeval en npm, versión 0.9.23) acompaña al de Python.
Confident AI, la empresa que lo desarrolla, vende una plataforma alojada para resultados de pruebas y trazas de producción. La última versión de Python en PyPI es la 4.3.1, del 16 de octubre de 2026.
¿Merece la pena DeepEval?
DeepEval es la forma más directa de que un equipo de Python meta comprobaciones de LLM en una batería de tests existente. Los tests se parecen a pytest, se ejecutan con deepeval test run en CI y hacen fallar una build cuando la fidelidad o la finalización de tareas caen por debajo de un umbral. Con unas 19.100 estrellas en GitHub y versiones casi todos los meses, tiene uno de los catálogos de métricas más amplios entre las bibliotecas de evaluación de código abierto, que ya llega a la planificación de agentes y a las llamadas de voz.
La pega es que la mayoría de métricas consisten en un LLM calificando a otro. La guía de inicio define OPENAI_API_KEY, así que por defecto cada métrica en cada caso de prueba es una llamada de API de pago, y unos cientos de casos ejecutados en cada pull request suman. Las puntuaciones también se mueven cuando cambia el modelo juez. Los issues abiertos más comentados lo reflejan: jueces que devuelven JSON no válido ('please use a better evaluation model'), problemas para usar modelos de Hugging Face como jueces y ejecuciones asíncronas que no terminan.
La telemetría está activada por defecto. La documentación dice que DeepEval envía a PostHog nombres de eventos, nombres de métricas, un ID anónimo y tu dirección IP pública; DEEPEVAL_TELEMETRY_OPT_OUT=1 la desactiva, aunque un issue abierto titulado 'Unable to disable telemetry' tiene 12 comentarios. Los datos de prueba solo van a Confident AI si inicias sesión y los subes.
Confident AI cobra por organización y no por puesto: Free con dos puestos y cinco ejecuciones de pruebas a la semana, Starter a 200 $ al mes, Team a 2.000 $ al mes con SSO y SOC 2, y un nivel Enterprise a medida con despliegue en local y HIPAA. La biblioteca funciona por completo sin ella, pero el README y la CLI remiten a ella a menudo. Promptfoo cubre un terreno parecido mediante configuración YAML y con un red teaming más sólido, Ragas es más limitado y solo para RAG, e Inspect AI encaja mejor en benchmarks a nivel de modelo que en pruebas de aplicaciones.
Dónde se gana su sitio
Un equipo de backend que lanza un bot de soporte con RAG sobre una pila de Python
Bloquear los merges cuando cae la fidelidad de las respuestas
Añade tests de fidelidad y recall contextual a la batería de pytest existente y ejecútalos en cada pull request. La biblioteca es gratuita; las llamadas al juez no, así que muchos equipos ejecutan el conjunto completo cada noche y una muestra en cada PR.
Un ingeniero de ML que construye un agente que llama a herramientas
Comprobar que el agente llama a las herramientas correctas con los argumentos correctos
Tool Correctness y Argument Correctness comparan las llamadas con las esperadas, mientras que Task Completion y Plan Adherence usan un LLM juez. Un juez más barato o local reduce el coste, pero conviene contrastarlo antes con unas cuantas etiquetas humanas.
Un responsable de IA en una empresa de software de 40 personas
Decidir si pagar por un panel de evaluación alojado
Confident AI Starter cuesta 200 $ al mes fijos con puestos ilimitados y 5 GB-mes de trazas, y después 1 $ por GB-mes; SSO y SOC 2 empiezan en Team, a 2.000 $ al mes. Guardar los resultados como artefactos de CI no cuesta nada, pero se pierden el historial y la agrupación de trazas.
Antes de decidirte
- Puesta en marcha
- pip install -U deepeval (Python 3.9 o posterior), define OPENAI_API_KEY o configura otro modelo juez, escribe un archivo de test con una métrica y ejecuta deepeval test run.
- Integraciones
- pytest y CI; trazas para LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI, OpenAI Agents, Google ADK, AWS AgentCore, Strands, el Vercel AI SDK y Mastra; modelos juez personalizados; subida opcional a Confident AI.
- Datos y privacidad
- Funciona en local. La telemetría (nombres de eventos y métricas, ID anónimo, IP pública) va a PostHog salvo con DEEPEVAL_TELEMETRY_OPT_OUT=1. Los casos de prueba se envían al proveedor juez que configures. Confident AI almacena las subidas en AWS; SSO y SOC 2 llegan con el plan Team.
- Coste a escala
- La biblioteca es gratuita; el coste del juez crece con casos de prueba por métricas por ejecuciones. Confident AI: Free (2 puestos, 5 ejecuciones de pruebas a la semana), Starter a 200 $ al mes, Team a 2.000 $ al mes, Enterprise a medida con despliegue en local.
- Límites
- 775 issues y pull requests abiertos; los jueces pueden devolver JSON malformado y hacer fallar tests; las puntuaciones cambian con el modelo juez; hay informes de ejecuciones asíncronas que se quedan colgadas.
Lo bueno
- Tests al estilo de pytest que se ejecutan en CI
- Métricas amplias: RAG, agentes, multiturno y voz
- Cualquier LLM puede actuar como juez, incluidos modelos locales
- Paquetes de Python y TypeScript
Lo malo
- La mayoría de métricas cuestan una llamada al modelo juez por caso de prueba
- Telemetría a PostHog activada por defecto
- La salida malformada del juez es un fallo habitual
- La documentación y la CLI empujan hacia Confident AI
Ideal para
Equipos de Python que añaden controles de calidad automáticos a aplicaciones con LLM.
Alternativas a DeepEval
DeepEval: preguntas frecuentes
- ¿Merece la pena DeepEval?
- Una biblioteca de evaluación al estilo de pytest muy capaz cuyo coste real es la factura del modelo juez, con una plataforma de 200 $ al mes al final del embudo. Le damos un 4.2 sobre 5.
- ¿Cuánto cuesta DeepEval?
- Gratuito y de código abierto con licencia Apache 2.0. La plataforma alojada de Confident AI es un producto de pago aparte.
- ¿Qué inconvenientes tiene DeepEval?
- La mayoría de métricas cuestan una llamada al modelo juez por caso de prueba; telemetría a PostHog activada por defecto; la salida malformada del juez es un fallo habitual; la documentación y la CLI empujan hacia Confident AI.
- ¿Para quién es DeepEval?
- Equipos de Python que añaden controles de calidad automáticos a aplicaciones con LLM.
- ¿Cuánto cuesta DeepEval para un equipo o en producción?
- La biblioteca es gratuita; el coste del juez crece con casos de prueba por métricas por ejecuciones. Confident AI: Free (2 puestos, 5 ejecuciones de pruebas a la semana), Starter a 200 $ al mes, Team a 2.000 $ al mes, Enterprise a medida con despliegue en local.
- ¿Es DeepEval seguro para los datos de la empresa?
- Funciona en local. La telemetría (nombres de eventos y métricas, ID anónimo, IP pública) va a PostHog salvo con DEEPEVAL_TELEMETRY_OPT_OUT=1. Los casos de prueba se envían al proveedor juez que configures. Confident AI almacena las subidas en AWS; SSO y SOC 2 llegan con el plan Team.
- ¿Cuáles son las mejores alternativas a DeepEval?
- Las alternativas más cercanas que hemos analizado son promptfoo, Ragas y Inspect.
Respuestas comprobadas el 23 oct 2026.