Qu’est-ce que promptfoo ?
promptfoo est un outil en ligne de commande et une bibliothèque pour tester les applications LLM. Vous décrivez les prompts, fournisseurs et cas de test dans un fichier YAML, et il les lance et montre une matrice de comparaison.
Il fait aussi du red teaming : il génère des entrées adversariales pour trouver l'injection de prompt, les jailbreaks, les fuites de données et l'usage d'outils dangereux. Il fonctionne avec les modèles d'OpenAI, Anthropic, Google et des fournisseurs open source, et s'intègre dans les pipelines CI.
Le 9 mars 2026, OpenAI a annoncé avoir accepté d'acquérir promptfoo, pour intégrer sa technologie dans OpenAI Frontier, sa plateforme d'agents entreprise, et a dit que le projet resterait open source sous sa licence MIT actuelle. La page À propos de promptfoo dit désormais que l'entreprise fait partie d'OpenAI ; aucune date de clôture n'a été publiée. Nous n'avons trouvé aucun avis public de la finalisation de l'accord.
promptfoo vaut-il le coup ?
promptfoo est la route la plus courte de pas de tests LLM à des tests en CI, et en mars 2026 il a accepté d'être racheté par OpenAI, dont de nombreuses équipes utilisent les modèles pour les noter. Il a environ 26 500 étoiles GitHub, le paquet npm a atteint 0.125.1 le 25 octobre 2026, et le propre site de promptfoo dit désormais qu'il fait partie d'OpenAI. La configuration est une config YAML, quelques cas de test avec assertions et une commande.
Le red teaming est ce qui le sépare de la plupart des bibliothèques d'évaluation. Il génère des attaques pour l'injection de prompt, les jailbreaks et l'exfiltration de données et rapporte ce qui est passé. Le hic est l'endroit où ces attaques sont faites : la génération tourne sur le service hébergé de promptfoo par défaut, et le palier Community gratuit plafonne le red teaming à 10 000 sondes par mois. L'usage hors ligne signifie régler PROMPTFOO_DISABLE_REMOTE_GENERATION et le pointer vers un modèle local.
Les réglages par défaut méritent un regard. Le CLI envoie de la télémétrie d'usage sauf si PROMPTFOO_DISABLE_TELEMETRY est défini, et quand vous êtes connecté cela inclut votre ID utilisateur et votre adresse e-mail, mais pas les prompts, sorties ou clés. Le visionneur web auto-hébergé n'est explicitement pas pour la production : il utilise une base SQLite locale, n'a pas d'authentification intégrée et casse s'il tourne en plus d'un réplica. Les tableaux de bord partagés, le SSO et la surveillance continue sont des fonctions Enterprise à un prix non publié.
OpenAI dit que promptfoo restera sous licence MIT et continuera de prendre en charge d'autres fournisseurs, et Repello, un concurrent, a rapporté deux mois après l'annonce que le CLI et le schéma de config étaient inchangés tout en demandant si les entreprises veulent que leur noteur soit détenu par le fournisseur noté. Pour les benchmarks de recherche, Inspect et le LM Evaluation Harness sont mieux adaptés, et les équipes Python peuvent trouver le style pytest de DeepEval plus naturel qu'un outil qui a besoin de Node.js 22.
Là où il fait la différence
Un ingénieur backend qui maintient un bot de support RAG
Attraper les régressions quand le prompt ou le modèle change
Gardez un promptfooconfig.yaml de vraies questions clients avec assertions et lancez promptfoo eval dans GitHub Actions à chaque pull request. Gratuit ; chaque exécution coûte des tokens de modèle pour chaque cas de test multiplié par chaque fournisseur comparé, plus les éventuelles assertions notées par modèle.
Un responsable de sécurité applicative dans une fintech qui livre un agent avec outils
Faire du red-team sur l'agent pour l'injection de prompt et l'exfiltration de données avant le lancement
Lancez promptfoo redteam contre un endpoint de staging ; Community couvre 10 000 sondes par mois. La génération d'attaques passe par le service hébergé de promptfoo sauf si la génération distante est désactivée et qu'un modèle local est utilisé, ce qui compte si la description de l'appli est confidentielle.
Un responsable de gouvernance IA dans une banque avec une douzaine d'applis LLM
Montrer aux auditeurs des tests de sécurité répétables sur chaque appli
L'Enterprise ou l'On-Premise ajoute des tableaux de bord partagés, le SSO, un historique de scans recherchable et des rapports de cadres de conformité, tarifés sur devis. La question d'achat est désormais la propriété et la feuille de route d'OpenAI plutôt que la liste de fonctions.
Avant de vous engager
- Mise en route
- npx promptfoo@latest init ou une installation npm globale, sur Node.js 22.22 ou plus récent ; une première évaluation tourne depuis le YAML généré en quelques minutes.
- Intégrations
- Les fournisseurs incluent OpenAI, Anthropic, Google et des modèles locaux via Ollama ou des cibles HTTP personnalisées ; tourne en CI comme GitHub Actions ; produits séparés d'action de scan de code et de proxy MCP.
- Données et confidentialité
- La télémétrie d'usage est activée par défaut et inclut l'ID utilisateur et l'e-mail quand connecté, mais pas les prompts ni les sorties. La génération de red-team utilise un service hébergé sauf si PROMPTFOO_DISABLE_REMOTE_GENERATION est défini. Les résultats sont gardés dans une base SQLite locale. Licence MIT.
- Coût à grande échelle
- Le CLI est gratuit ; la facture est les tokens de modèle, environ cas de test multiplié par fournisseurs multiplié par répétitions par exécution, plus les assertions notées par modèle. Le red teaming au-delà de 10 000 sondes par mois, les tableaux de bord partagés et le SSO ont besoin de l'Enterprise, tarifé sur devis.
- Limites
- Environ 840 issues et pull requests ouvertes ; le serveur auto-hébergé ne peut pas dépasser un réplica et n'a pas d'auth ; pas conçu comme lanceur de benchmark académique.
Les points forts
- Tests YAML qui tournent en CI avec une seule commande
- Larges plugins de red-team pour l'injection et les fuites de données
- Fonctionne avec OpenAI, Anthropic, Google et des modèles locaux
- Licence MIT
Les points faibles
- Détenu par OpenAI, un fournisseur de modèles
- Télémétrie et génération d'attaques hébergée activées par défaut
- Le visionneur auto-hébergé manque d'auth et de mise à l'échelle
- Exige Node.js 22.22 ou plus récent
Idéal pour
Les équipes qui livrent des applis LLM et veulent des tests de régression et des scans de sécurité en CI.
Alternatives à promptfoo
promptfoo : questions fréquentes
- promptfoo vaut-il le coup ?
- promptfoo transforme les tests de régression LLM et les scans de red-team en un fichier YAML et une commande CI ; son nouveau propriétaire est la partie à surveiller. Nous lui donnons 4.5 sur 5.
- Combien coûte promptfoo ?
- CLI gratuit et open source (MIT) ; l'usage Community inclut le red teaming jusqu'à 10 000 sondes par mois. Enterprise (cloud managé) et On-Premise sont tarifés sur devis.
- Quels sont les inconvénients de promptfoo ?
- Détenu par OpenAI, un fournisseur de modèles; télémétrie et génération d'attaques hébergée activées par défaut; le visionneur auto-hébergé manque d'auth et de mise à l'échelle; exige Node.js 22.22 ou plus récent.
- À qui s’adresse promptfoo ?
- Les équipes qui livrent des applis LLM et veulent des tests de régression et des scans de sécurité en CI.
- Combien coûte promptfoo pour une équipe ou en production ?
- Le CLI est gratuit ; la facture est les tokens de modèle, environ cas de test multiplié par fournisseurs multiplié par répétitions par exécution, plus les assertions notées par modèle. Le red teaming au-delà de 10 000 sondes par mois, les tableaux de bord partagés et le SSO ont besoin de l'Enterprise, tarifé sur devis.
- promptfoo est-il sûr pour les données de l’entreprise ?
- La télémétrie d'usage est activée par défaut et inclut l'ID utilisateur et l'e-mail quand connecté, mais pas les prompts ni les sorties. La génération de red-team utilise un service hébergé sauf si PROMPTFOO_DISABLE_REMOTE_GENERATION est défini. Les résultats sont gardés dans une base SQLite locale. Licence MIT.
- Quelles sont les meilleures alternatives à promptfoo ?
- Les alternatives les plus proches que nous avons testées sont DeepEval, Inspect et Ragas.
Réponses vérifiées le 26 oct. 2026.