Qu’est-ce que DeepEval ?
DeepEval est un framework open source pour tester les applications LLM dans le style de pytest : vous écrivez des cas de test avec des entrées et des sorties et les affirmez contre des métriques, localement ou en CI.
Il livre des métriques en plusieurs familles : des juges personnalisés comme G-Eval et le DAG basé sur un graphe, des métriques RAG (fidélité, rappel et précision contextuels), des métriques d'agent (achèvement de tâche, justesse des outils, adhérence au plan), des métriques multi-tours et d'agent vocal, et du red-teaming. La plupart sont notées par un juge LLM, OpenAI dans le démarrage rapide, même si n'importe quel modèle peut être branché. Un paquet TypeScript (deepeval sur npm, version 0.9.23) accompagne celui en Python.
Confident AI, l'entreprise derrière, vend une plateforme hébergée pour les résultats de tests et les traces de production. La dernière version Python sur PyPI est 4.3.1, du 16 octobre 2026.
DeepEval vaut-il le coup ?
DeepEval est la manière la plus directe pour une équipe Python de mettre des vérifications LLM dans une suite de tests existante. Les tests ressemblent à pytest, se lancent avec deepeval test run en CI, et font échouer un build quand la fidélité ou l'achèvement de tâche tombe sous un seuil. Avec environ 19 100 étoiles GitHub et des versions la plupart des mois, il a l'un des catalogues de métriques les plus larges parmi les biblioth èques d'évaluation open source, atteignant désormais la planification d'agent et les appels vocaux.
Le hic est que la plupart des métriques sont un LLM qui en note un autre. Le démarrage rapide définit OPENAI_API_KEY, si bien que par défaut chaque métrique sur chaque cas de test est un appel d'API payant, et quelques centaines de cas lancés à chaque pull request s'additionnent. Les scores bougent aussi quand le modèle juge change. Les issues ouvertes les plus discutées le reflètent : des juges qui renvoient du JSON invalide (« veuillez utiliser un meilleur modèle d'évaluation »), des difficultés à utiliser des modèles Hugging Face comme juges, et des exécutions async qui ne se terminent pas.
La télémétrie est activée par défaut. La documentation dit que DeepEval envoie les noms d'événements, les noms de métriques, un ID anonyme et votre adresse IP publique à PostHog ; DEEPEVAL_TELEMETRY_OPT_OUT=1 la désactive, même si une issue ouverte intitulée « Unable to disable telemetry » a 12 commentaires. Les données de test vont à Confident AI seulement si vous vous connectez et téléversez.
Confident AI est tarifé par organisation plutôt que par siège : Free avec deux sièges et cinq exécutions de test par semaine, Starter à 200 $ par mois, Team à 2 000 $ par mois avec SSO et SOC 2, et un palier Enterprise sur mesure avec déploiement sur site et HIPAA. La bibliothèque fonctionne entièrement sans, mais le README et le CLI y pointent souvent. Promptfoo couvre un terrain similaire via une config YAML avec un red-teaming plus solide, Ragas est plus étroit et uniquement RAG, et Inspect AI convient mieux au travail de benchmark au niveau du modèle qu'aux tests d'application.
Là où il fait la différence
Une équipe backend qui livre un bot de support RAG sur une pile Python
Bloquer les fusions quand la fidélité des réponses chute
Ajoutez des tests de fidélité et de rappel contextuel à la suite pytest existante et lancez-les à chaque pull request. La bibliothèque est gratuite ; les appels de juge ne le sont pas, si bien que beaucoup d'équipes lancent l'ensemble complet chaque nuit et un échantillon par PR.
Un ingénieur ML qui construit un agent à appel d'outils
Vérifier que l'agent appelle les bons outils avec les bons arguments
Tool Correctness et Argument Correctness comparent les appels aux appels attendus, tandis que Task Completion et Plan Adherence utilisent un juge LLM. Un juge moins cher ou local réduit le coût mais devrait être vérifié contre quelques étiquettes humaines d'abord.
Un responsable IA dans une entreprise de logiciels de 40 personnes
Décider s'il faut payer pour un tableau de bord d'évaluation hébergé
Confident AI Starter est à 200 $ par mois forfaitaire avec sièges illimités et 5 Go-mois de traces, puis 1 $ par Go-mois ; le SSO et SOC 2 commencent à Team, 2 000 $ par mois. Garder les résultats dans des artefacts CI ne coûte rien mais perd l'historique et le regroupement des traces.
Avant de vous engager
- Mise en route
- pip install -U deepeval (Python 3.9 ou plus récent), définissez OPENAI_API_KEY ou configurez un autre modèle juge, écrivez un fichier de test avec une métrique et lancez deepeval test run.
- Intégrations
- pytest et CI ; traçage pour LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI, OpenAI Agents, Google ADK, AWS AgentCore, Strands, le Vercel AI SDK et Mastra ; modèles juges personnalisés ; téléversement optionnel vers Confident AI.
- Données et confidentialité
- Tourne localement. La télémétrie (noms d'événements et de métriques, ID anonyme, IP publique) va à PostHog sauf si DEEPEVAL_TELEMETRY_OPT_OUT=1. Les cas de test sont envoyés au fournisseur de juge que vous configurez. Confident AI stocke les téléversements sur AWS ; le SSO et SOC 2 viennent avec le plan Team.
- Coût à grande échelle
- La bibliothèque est gratuite ; le coût du juge évolue avec le nombre de cas de test multiplié par les métriques multiplié par les exécutions. Confident AI : Free (2 sièges, 5 exécutions de test par semaine), Starter 200 $ par mois, Team 2 000 $ par mois, Enterprise sur mesure avec déploiement sur site.
- Limites
- 775 issues et pull requests ouvertes ; les juges peuvent renvoyer du JSON malformé et faire échouer les tests ; les scores bougent avec le modèle juge ; les exécutions async sont rapportées comme se bloquant.
Les points forts
- Tests façon pytest qui tournent en CI
- Métriques larges : RAG, agents, multi-tours et vocal
- N'importe quel LLM peut faire office de juge, y compris les modèles locaux
- Paquets Python et TypeScript
Les points faibles
- La plupart des métriques coûtent un appel de modèle juge par cas de test
- Télémétrie vers PostHog activée par défaut
- Une sortie de juge malformée est un échec courant
- La documentation et le CLI orientent vers Confident AI
Idéal pour
Les équipes Python qui ajoutent des vérifications de qualité automatisées aux applications LLM.
Alternatives à DeepEval
DeepEval : questions fréquentes
- DeepEval vaut-il le coup ?
- Une bibliothèque d'évaluation capable façon pytest dont le vrai coût est la facture du modèle juge, avec une plateforme à 200 $ par mois au bout de l'entonnoir. Nous lui donnons 4.2 sur 5.
- Combien coûte DeepEval ?
- Gratuit et open source sous la licence Apache 2.0. La plateforme hébergée de Confident AI est un produit payant séparé.
- Quels sont les inconvénients de DeepEval ?
- La plupart des métriques coûtent un appel de modèle juge par cas de test; télémétrie vers PostHog activée par défaut; une sortie de juge malformée est un échec courant; la documentation et le CLI orientent vers Confident AI.
- À qui s’adresse DeepEval ?
- Les équipes Python qui ajoutent des vérifications de qualité automatisées aux applications LLM.
- Combien coûte DeepEval pour une équipe ou en production ?
- La bibliothèque est gratuite ; le coût du juge évolue avec le nombre de cas de test multiplié par les métriques multiplié par les exécutions. Confident AI : Free (2 sièges, 5 exécutions de test par semaine), Starter 200 $ par mois, Team 2 000 $ par mois, Enterprise sur mesure avec déploiement sur site.
- DeepEval est-il sûr pour les données de l’entreprise ?
- Tourne localement. La télémétrie (noms d'événements et de métriques, ID anonyme, IP publique) va à PostHog sauf si DEEPEVAL_TELEMETRY_OPT_OUT=1. Les cas de test sont envoyés au fournisseur de juge que vous configurez. Confident AI stocke les téléversements sur AWS ; le SSO et SOC 2 viennent avec le plan Team.
- Quelles sont les meilleures alternatives à DeepEval ?
- Les alternatives les plus proches que nous avons testées sont promptfoo, Ragas et Inspect.
Réponses vérifiées le 23 oct. 2026.