Qu’est-ce que Ragas ?
Ragas est une bibliothèque Python pour évaluer les applis de génération augmentée par récupération (RAG), où un modèle répond à partir de documents qu'il récupère. Le développement s'est effectivement arrêté : la dernière version, v0.4.3, est sortie le 13 janvier 2026, le dernier commit a atterri le 24 février 2026, et les pull requests communautaires ouvertes depuis n'ont pas été fusionnées. L'organisation GitHub est passée d'explodinggradients à vibrantlabsai, et Vibrant Labs se décrit désormais comme un laboratoire de recherche qui vend des données d'apprentissage par renforcement pour les agents.
La bibliothèque offre des métriques comme la fidélité, la pertinence de la réponse et la précision du contexte, dont la plupart demandent à un modèle juge de noter chaque échantillon, plus des métriques personnalisées notées par LLM et la génération d'ensembles de test synthétiques. Elle s'intègre avec LangChain, LlamaIndex, Haystack et les modèles Amazon Bedrock.
Elle est encore beaucoup utilisée : PyPI a enregistré environ 1,05 million de téléchargements sur le mois jusqu'au 23 octobre 2026.
Ragas vaut-il le coup ?
Ragas est désormais une bibliothèque à garder en marche plutôt qu'une à adopter. Ses définitions de la fidélité et de la précision du contexte sont citées dans les tutoriels et les outils rivaux, et elle tire encore environ un million de téléchargements PyPI par mois, mais personne ne la dirige. Le dernier commit était le 24 février 2026, environ 250 pull requests sont ouvertes, et une issue déposée le 9 octobre 2026 intitulée « This project is not maintained anymore » n'a pas de réponse.
Les pull requests ouvertes montrent ce que les utilisateurs rencontrent. Plusieurs corrigent la pertinence de la réponse qui bloque la boucle d'événements async avec des appels d'embedding synchrones, ce qui bloque des tâches sans rapport pendant evaluate() ; d'autres corrigent des seuils few-shot qui étaient silencieusement ignorés et des ID de modèles de raisonnement Bedrock qui n'étaient pas mappés. Chacun est un correctif que vous devriez appliquer depuis un fork.
Le modèle de coût compte à grande échelle. La plupart des métriques Ragas sont notées par un LLM, si bien que chaque échantillon déclenche un ou plusieurs appels de modèle, et les scores peuvent changer entre exécutions et entre modèles juges. Une équipe qui note des milliers d'échantillons par nuit paie des frais d'API et absorbe cette variance, pas une suite de tests gratuite.
La télémétrie est le détail que la plupart des lecteurs manquent. Ragas envoie des événements d'usage anonymes à un endpoint explodinggradients.com par défaut, et la désinscription est une variable d'environnement, RAGAS_DO_NOT_TRACK=true. Dans un environnement réglementé, cela devrait être réglé avant la première exécution, quoi que vous décidiez d'autre sur la bibliothèque.
Là où il fait la différence
Un ingénieur ML dans une équipe de cinq personnes avec une suite Ragas déjà en CI
Garder les scores de régression RAG nocturnes comparables en décidant vers quoi migrer
Épinglez ragas==0.4.3, réglez RAGAS_DO_NOT_TRACK=true et fixez le modèle juge pour que les scores restent comparables. Le coût est les appels d'API du modèle juge par échantillon ; le risque est de porter vous-même les correctifs de bugs comme le blocage de la boucle d'événements dans la pertinence de la réponse.
Un chercheur qui écrit une section d'évaluation pour un article RAG
Rapporter la fidélité et la précision du contexte sous des définitions que les relecteurs reconnaissent
Les définitions de métriques de Ragas sont largement citées, si bien que les utiliser pour une étude ponctuelle a besoin de peu de justification. Enregistrez la version et le modèle juge, puisque les scores notés par LLM bougent avec les deux.
Un responsable IA dans un assureur de 200 personnes qui choisit une pile d'évaluation
Choisir une bibliothèque d'évaluation sur laquelle l'équipe peut compter pour les deux prochaines années
Ragas ne coûte rien à licencier, mais sans mainteneur, chaque correction de bug et mise à jour de modèle revient à votre équipe. DeepEval ou promptfoo portent les mêmes métriques RAG avec des versions actives.
Avant de vous engager
- Mise en route
- pip install ragas sur Python 3.9 ou plus récent, plus une clé d'API pour un modèle juge ; ragas quickstart rag_eval échafaude un projet d'exemple en quelques minutes.
- Intégrations
- Enveloppes LangChain, LlamaIndex et Haystack, modèles OpenAI, Anthropic, Google et Bedrock via llm_factory, et le format de message AG-UI.
- Données et confidentialité
- Apache 2.0. La télémétrie d'usage anonyme est activée par défaut et envoyée à t.explodinggradients.com ; réglez RAGAS_DO_NOT_TRACK=true pour l'arrêter. Vos échantillons vont à l'API du modèle juge que vous configurez. Pas d'avis de sécurité publiés.
- Coût à grande échelle
- La bibliothèque est gratuite et il n'y a pas d'édition payante. Le vrai coût est les tokens du modèle juge : les métriques notées par LLM font au moins un appel de modèle par échantillon, si bien qu'une grande suite nocturne est une facture d'API.
- Limites
- 634 issues et pull requests ouvertes, aucune fusionnée depuis février 2026 ; les bugs connus incluent les appels d'embedding synchrones qui bloquent la boucle d'événements dans la pertinence de la réponse. Seul le template de démarrage rapide rag_eval existe ; les templates d'agents sont listés comme à venir.
Les points forts
- Définitions largement citées de la fidélité et de la précision du contexte
- Génération d'ensembles de test synthétiques à partir de vos documents
- Intégrations avec LangChain, LlamaIndex et Haystack
- Licence Apache 2.0
Les points faibles
- Pas de commits depuis le 24 février 2026 ; environ 250 pull requests non fusionnées
- Télémétrie d'usage activée par défaut
- Les scores notés par LLM varient entre exécutions et modèles juges
- Les changements d'API entre versions ont cassé beaucoup d'exemples en ligne
Idéal pour
Les équipes avec une suite Ragas existante qui peuvent épingler une version et porter leurs propres correctifs.
Alternatives à Ragas
Ragas : questions fréquentes
- Ragas vaut-il le coup ?
- Ses noms de métriques sont devenus le vocabulaire de l'évaluation RAG, mais le code a été laissé sans mainteneur. Nous lui donnons 3.4 sur 5.
- Combien coûte Ragas ?
- Gratuit et open source sous la licence Apache 2.0. Vous payez les appels d'API du modèle juge que chaque métrique fait.
- Quels sont les inconvénients de Ragas ?
- Pas de commits depuis le 24 février 2026 ; environ 250 pull requests non fusionnées; télémétrie d'usage activée par défaut; les scores notés par LLM varient entre exécutions et modèles juges; les changements d'API entre versions ont cassé beaucoup d'exemples en ligne.
- À qui s’adresse Ragas ?
- Les équipes avec une suite Ragas existante qui peuvent épingler une version et porter leurs propres correctifs.
- Combien coûte Ragas pour une équipe ou en production ?
- La bibliothèque est gratuite et il n'y a pas d'édition payante. Le vrai coût est les tokens du modèle juge : les métriques notées par LLM font au moins un appel de modèle par échantillon, si bien qu'une grande suite nocturne est une facture d'API.
- Ragas est-il sûr pour les données de l’entreprise ?
- Apache 2.0. La télémétrie d'usage anonyme est activée par défaut et envoyée à t.explodinggradients.com ; réglez RAGAS_DO_NOT_TRACK=true pour l'arrêter. Vos échantillons vont à l'API du modèle juge que vous configurez. Pas d'avis de sécurité publiés.
- Quelles sont les meilleures alternatives à Ragas ?
- Les alternatives les plus proches que nous avons testées sont DeepEval et promptfoo.
Réponses vérifiées le 26 oct. 2026.