Évaluation

Ce qu’il faut regarder

Les questions qui départagent les options, par ordre d’importance.

1. 01

   Votre propre jeu de test, pas un classement

   Les benchmarks publics comme MMLU ou GSM8K, exécutés avec des outils comme LM Evaluation Harness, comparent les modèles en général ; ils disent peu de choses de vos prompts, de vos documents ou de vos utilisateurs. L'évaluation la plus utile, ce sont 50 à 200 exemples réels tirés de votre produit avec des réponses correctes connues, enrichis chaque fois qu'un bug atteint la production. Servez-vous des suites de benchmarks pour vérifier qu'un fine-tune ou un changement de modèle n'a pas cassé les capacités générales, et de votre propre jeu pour tout le reste.

2. 02

   Tests hors ligne et notation en ligne

   L'évaluation hors ligne exécute un jeu de données fixe avant la mise en production, comme des tests unitaires. L'évaluation en ligne note un échantillon de traces de production réelles avec les mêmes métriques, et attrape des problèmes absents de votre jeu de test. Les plateformes qui font les deux (Braintrust, Opik, Arize Phoenix) permettent de transformer une trace de production en échec en nouveau cas de test ; les bibliothèques comme promptfoo, DeepEval et Ragas fonctionnent hors ligne sauf si on les associe à un outil de traçage.

3. 03

   Fiabilité du LLM juge

   La plupart des métriques de qualité demandent à un autre modèle de noter la réponse. Les juges varient d'une exécution à l'autre, favorisent les réponses plus longues ou plus assurées et coûtent de l'argent à chaque note. Vérifiez à la main un échantillon de verdicts, figez le modèle juge et son prompt pour que les notes restent comparables dans le temps, et préférez les contrôles exacts (correspondance de chaîne, schéma JSON, exécution de code) partout où la tâche le permet.

4. 04

   Des métriques RAG qui séparent recherche et génération

   Pour les applications à génération augmentée par la recherche, il faut savoir si les bons documents ont été trouvés (précision et rappel du contexte) et si la réponse s'y est tenue (fidélité). Ragas a popularisé ces définitions ; DeepEval, promptfoo et la bibliothèque open source autoevals de Braintrust les implémentent désormais aussi. Un score global unique de « justesse » masque quelle moitié du pipeline a échoué.

5. 05

   Intégration à la CI

   Les évaluations n'empêchent les régressions que si elles s'exécutent automatiquement à chaque changement de prompt, de modèle ou de recherche. promptfoo utilise une configuration YAML et une CLI conçues pour la CI ; DeepEval et Opik se branchent sur pytest ; Inspect et LM Evaluation Harness s'exécutent comme des tâches Python ou CLI. Fixez un seuil de réussite par métrique et faites échouer le build quand il baisse, plutôt que de lire des tableaux de bord après coup.

6. 06

   Gestion et versionnage des jeux de test

   Les jeux de données évoluent à mesure que vous ajoutez des cas et corrigez des étiquettes : les résultats ne sont donc comparables que si vous savez quelle version du jeu les a produits. Les plateformes hébergées stockent jeux de données, expériences et leurs différences ; les outils à base de fichiers comptent sur vous pour garder les cas de test dans Git. Les deux fonctionnent, mais décidez avant que le jeu ne dépasse quelques centaines d'exemples.

7. 07

   Prise en charge de l'évaluation des agents

   Les agents exigent plus que des contrôles entrée-sortie : ont-ils appelé les bons outils, dans un ordre sensé, dans le budget, sans action dangereuse ? Inspect est l'option ouverte la plus solide pour des évaluations d'agents en sandbox ; DeepEval fournit des métriques d'agents. Vérifiez que l'outil peut noter une trace entière, pas seulement le message final.

8. 08

   Maintenance et licence

   Ragas n'a pas publié de version depuis janvier 2026 et son équipe est passée à autre chose ; promptfoo appartient désormais à OpenAI ; Arize Phoenix est à code source disponible sous Elastic License 2.0, pas open source. Ce n'est pas rédhibitoire, mais cela compte pour un outil qui restera des années dans votre CI.

16 outils comparés

Classés selon notre note. Ouvrez un avis pour voir les sources, les prix et le verdict complet.

Outils comparés : Évaluation

Outil	Note	Notre verdict	Idéal pour	Prix
Langfusedépôt	4.6/5	Du traçage LLM neutre vis-à-vis des frameworks que vous pouvez posséder entièrement : le build gratuit auto-hébergé couvre presque tout, et le cloud est tarifé jusqu'à l'unité.	Les équipes qui veulent un traçage et une évaluation neutres vis-à-vis des frameworks qu'elles peuvent auto-héberger gratuitement ou acheter comme service cloud à prix raisonnable.	Gratuit et open source sous MIT, sauf les dossiers ee/ sous licence commerciale. Cloud : Hobby gratuit (50k unités/mois) ; Core 29 $/mois ; Pro 199 $/mois (module additionnel Teams +300 $) ; Enterprise 2 499 $/mois ; dépassement 8 $ par 100k unités, tombant à 6 $ au-dessus de 50M.
promptfoodépôt	4.5/5	promptfoo transforme les tests de régression LLM et les scans de red-team en un fichier YAML et une commande CI ; son nouveau propriétaire est la partie à surveiller.	Les équipes qui livrent des applis LLM et veulent des tests de régression et des scans de sécurité en CI.	CLI gratuit et open source (MIT) ; l'usage Community inclut le red teaming jusqu'à 10 000 sondes par mois. Enterprise (cloud managé) et On-Premise sont tarifés sur devis.
Inspectdépôt	4.4/5	Inspect est le harnais partagé des tests de sécurité IA gouvernementaux et indépendants ; les équipes produit qui vérifient des prompts en CI le trouveront plus framework qu'elles n'en ont besoin.	Les chercheurs et équipes de sécurité qui font tourner des évaluations d'agents et de capacité.	Gratuit et open source sous la licence MIT.
LM Evaluation Harnessdépôt	4.4/5	L'étalon commun pour les benchmarks de modèles, et le mauvais instrument pour juger une application construite par-dessus un.	Les chercheurs et entraîneurs de modèles qui comparent les modèles sur des benchmarks standards.	Gratuit et open source sous la licence MIT.
MLflowdépôt	4.4/5	Toujours l'endroit par défaut pour consigner les expériences ML, désormais avec tracing et évaluation LLM offerts ; verrouillez le serveur avant que quiconque d'autre puisse l'atteindre.	Les équipes Python qui entraînent des modèles et créent des fonctions LLM et veulent un seul système de référence, gratuit et auto-hébergé, pour les deux.	Gratuit et open source sous Apache-2.0 ; vous ne payez que le serveur, la base de données et le stockage objet. MLflow géré sur Databricks n'a pas de prix catalogue propre et se facture via le calcul Databricks ; la Free Edition est réservée à un usage personnel.
Braintrustoutil	4.3/5	Braintrust s'adresse aux équipes dont la question la plus difficile est de savoir si la dernière modification a amélioré le produit, et il facture les données plutôt que les personnes, ce qui convient aux grandes équipes et pénalise les agents qui journalisent beaucoup.	Les équipes produit qui veulent un développement piloté par l'évaluation avec un traçage hébergé et acceptent de payer un service managé.	Starter gratuit (1 Go de données, 10 000 scores, 10 $ de crédits de modèles, 14 jours de conservation, utilisateurs illimités ; puis 4 $/Go et 2,50 $ les 1 000 scores). Pro à 249 $/mois (5 Go, 50 000 scores, 100 $ de crédits de modèles, 30 jours de conservation ; puis 3 $/Go et 1,50 $ les 1 000 scores). Enterprise sur mesure, avec SAML, BAA et data plane auto-hébergé. Les startups éligibles ont Pro gratuitement pendant 6 à 12 mois.
DeepEvaldépôt	4.2/5	Une bibliothèque d'évaluation capable façon pytest dont le vrai coût est la facture du modèle juge, avec une plateforme à 200 $ par mois au bout de l'entonnoir.	Les équipes Python qui ajoutent des vérifications de qualité automatisées aux applications LLM.	Gratuit et open source sous la licence Apache 2.0. La plateforme hébergée de Confident AI est un produit payant séparé.
Arize Phoenixdépôt	4.2/5	Phoenix a la boucle d'évaluation la plus solide des outils de tracing ouverts, enveloppée dans une licence et un propriétaire dont les équipes juridiques voudront discuter.	Les ingénieurs et data scientists qui veulent un tracing fondé sur des standards avec une boucle d'évaluation solide, en démarrant sur un portable.	Gratuit à auto-héberger sous l'Elastic License 2.0 (source disponible ; pas d'hébergement comme service pour d'autres). Arize AX managé : Free (25 k spans/mois, rétention 15 jours, 1 Go) ; Pro 50 $/mois (50 k spans, 30 jours, 10 Go) ; Enterprise sur mesure.
LangSmithoutil	4.2/5	LangSmith offre le traçage et l'évaluation les plus poussés et les plus mûrs pour les agents LangGraph, vendus par siège à un prix qui avantage les petites équipes aux gros budgets.	Les équipes qui construisent des agents de production sur LangChain ou LangGraph et veulent traçage, évaluation et déploiement hébergés chez un seul fournisseur.	Developer gratuit (1 siège, 5 000 traces de base par mois). Plus à 39 $ par siège et par mois (10 000 traces de base, puis paiement à l'usage ; un petit déploiement serverless). Enterprise sur devis, avec options hybride ou auto-hébergée. Traces de base conservées 14 jours, traces étendues 180 jours.
Opikdépôt	4.1/5	Opik donne tout le serveur sous Apache 2.0 et vend l'offre hébergée la moins chère, mais le build auto-hébergé n'a pas de comptes utilisateurs et téléphone à la maison par défaut.	Les équipes qui veulent une plateforme de traçage et d'évaluation sous licence permissive et auto-hébergeable, ou une hébergée à bas coût.	Gratuit et open source sous Apache 2.0. Cloud : Free (25k spans/mois, rétention 60 jours) ; Pro 19 $/mois (100k spans, puis 5 $ par 100k ; module de rétention 400 jours à 29 $ par 100k spans) ; Enterprise sur mesure.
Arize AXoutil	4.1/5	Arize AX offre un traçage et des évaluations d'agents sérieux sur une instrumentation ouverte, mais ses offres bon marché s'épuisent vite et sa feuille de route appartient désormais à Dynatrace.	Les équipes d'ingénierie qui font tourner des agents en production, veulent un traçage et des évaluations hébergés sur une instrumentation ouverte et portable, et peuvent négocier un contrat Enterprise.	AX Free à 0 $ (25 000 spans, 1 Go par mois, 15 jours de conservation) ; AX Pro à 50 $/mois (50 000 spans, 10 Go, 30 jours de conservation) ; Enterprise sur mesure avec SSO, HIPAA et auto-hébergement. Utilisateurs illimités sur toutes les offres.
Datadog LLM Observabilityoutil	4.0/5	Si votre entreprise vit déjà dans Datadog, c'est l'endroit logique pour surveiller vos agents, et sa facturation par appel au modèle est plus équitable qu'il n'y paraît.	Les équipes d'ingénierie qui utilisent déjà Datadog et veulent les traces de leurs agents à côté de la surveillance de leurs services et de leur infrastructure.	Gratuit jusqu'à 40K spans LLM/mois avec 15 jours de conservation. Pro à partir de 160 $/mois en annuel, 200 $ au mois ou 240 $ à la demande, pour 100K spans LLM ; ensuite 3,50 $ (annuel), 4,20 $ (au mois) ou 5 $ (à la demande) par tranche de 10K spans LLM. Options de conservation affichées à 6,50 $, 8 $ et 9 $ par tranche de 10K spans par mois pour 30, 60 et 90 jours. Seuls les spans LLM sont facturés.
TruLensdépôt	3.9/5	Une bibliothèque d'évaluation solide, native OpenTelemetry, avec un propriétaire d'entreprise derrière elle, freinée par une petite communauté et une attraction vers Snowflake.	Les équipes Python qui évaluent des applications RAG ou des agents, en particulier celles qui stockent déjà leurs données dans Snowflake.	Gratuit et open source sous licence MIT. Vous payez les appels au modèle juge que fait chaque feedback function ; AI Observability, le service hébergé de Snowflake, est un produit distinct facturé via Snowflake.
Splunk Agent Observabilityoutil	3.7/5	Les petits modèles juges de Galileo permettent de noter à peu de frais chaque conversation d'agent, mais sous Splunk, le produit est devenu un achat d'entreprise précédé d'un appel commercial.	Les grandes organisations déjà sur Splunk Observability qui veulent noter chaque conversation d'agent et bloquer les actions dangereuses à l'exécution.	Agent Observability à partir de 100 $/mois pour 1,2M de spans par an, facturé annuellement, avec 500M de tokens Luna et 5 sessions de fine-tuning Luna par an ; tokens Luna supplémentaires et conservation prolongée sur devis. La Free Edition de Splunk Observability Cloud (jusqu'à 15 hôtes, sans expiration) inclut le traçage d'agents. Les anciennes offres Free (5 000 traces/mois) et Pro (100 $/mois facturés à l'année, 50 000 traces) de Galileo ne sont plus publiées.
W&B Weavedépôt	3.6/5	Vaut la peine d'être activé si vos modèles vivent déjà dans Weights & Biases ; à 0,10 $ le mégaoctet, difficile à vendre à quiconque part de zéro.	Les équipes qui utilisent déjà Weights & Biases pour l'entraînement de modèles et veulent les traces et évaluations LLM au même endroit.	SDK gratuit sous Apache 2.0. Hébergé : Free (1 Go d'ingestion Weave/mois) ; Pro à partir de 60 $/mois (1,5 Go, puis 0,10 $/Mo) ; Enterprise sur mesure (dépassement de 0,20 $/Mo indiqué), avec déploiement dédié.
Ragasdépôt	3.4/5	Ses noms de métriques sont devenus le vocabulaire de l'évaluation RAG, mais le code a été laissé sans mainteneur.	Les équipes avec une suite Ragas existante qui peuvent épingler une version et porter leurs propres correctifs.	Gratuit et open source sous la licence Apache 2.0. Vous payez les appels d'API du modèle juge que chaque métrique fait.

Côte à côte

Les caractéristiques qui comptent pour cette étape. Vérifiées le 19 oct. 2026 ; confirmez-les sur le site du fournisseur avant de vous engager.

Où s’insère cette étape

• Discuter avec vos documents : nous commencerions par Ragas.
• Agent de service client : nous commencerions par DeepEval.
• Agent de code : nous commencerions par Inspect.
• Recherche et graphe de connaissances : nous commencerions par Ragas.
• Assistant à mémoire longue : nous commencerions par DeepEval.
• Pipeline de génération d'images : nous commencerions par promptfoo.
• Agent vocal : nous commencerions par DeepEval.
• Traitement de documents : nous commencerions par DeepEval.
• Votre propre modèle fine-tuné : nous commencerions par LM Evaluation Harness.

Sources de ce guide

• promptfoo: evaluating RAG pipelines
• Ragas on GitHub
• DeepEval on GitHub
• Inspect on GitHub
• LM Evaluation Harness on GitHub
• autoevals on GitHub
• Braintrust docs