Qu’est-ce que DeepTeam ?
DeepTeam est un framework Python open source de Confident AI, l'entreprise derrière DeepEval, pour le red-teaming des systèmes LLM. Il simule des attaques comme les jailbreaks, l'injection de prompt, l'obfuscation par encodage et l'exploitation multi-tours, puis utilise des métriques LLM-juge pour donner à chaque test un succès ou un échec avec un raisonnement.
Le README liste plus de 50 vulnérabilités et plus de 20 méthodes d'attaque. Au-delà de la fuite de données personnelles, de la fuite de prompt, du biais et de la toxicité, il couvre des classes de sécurité applicative comme l'autorisation brisée au niveau des fonctions et des objets, l'injection SQL et shell et la falsification de requête côté serveur, et des classes spécifiques aux agents comme l'agence excessive, les instructions indirectes dans le contenu récupéré, l'empoisonnement des métadonnées d'outils et l'usurpation inter-agents. Des presets mappent OWASP Top 10 pour LLM 2025, OWASP Top 10 pour Agents 2026, NIST AI RMF, MITRE ATLAS, BeaverTails et Aegis vers les bons tests, et il livre sept garde-fous d'exécution.
Il tourne localement depuis Python ou un CLI piloté par YAML et est sous licence Apache 2.0. La version 1.0.10 a été publiée sur PyPI le 16 octobre 2026 ; la page des versions GitHub s'arrête à v1.0.9. La plateforme hébergée de Confident AI vend le stockage et le reporting, avec le red teaming en module additionnel Enterprise.
DeepTeam vaut-il le coup ?
La force de DeepTeam est la couverture des risques qui comptent une fois qu'un modèle a des outils. Sa liste de vulnérabilités se lit comme une checklist de sécurité applicative traduite pour les agents : contournement d'autorisation, injection SQL et shell, SSRF, empoisonnement des métadonnées d'outils et instructions cachées dans les documents récupérés. Six presets de framework, dont la liste OWASP 2026 pour les agents, donnent à une équipe une base défendable en un seul appel quand une revue de sécurité demande ce qui a été testé.
La faiblesse est le juge. Un LLM génère les attaques et un autre décide succès ou échec, si bien que les résultats bougent avec le modèle juge, chaque exécution coûte des tokens sur votre clé OpenAI ou le modèle que vous configurez, et les fausses alertes comme les oublis sont attendus. Les détecteurs à base de règles de garak et les options de scoring de PyRIT donnent plus de contrôle sur cette étape.
Deux réglages par défaut méritent attention. La télémétrie est activée sauf si vous réglez DEEPTEAM_TELEMETRY_OPT_OUT=YES (et DEEPEVAL_TELEMETRY_OPT_OUT=YES pour la bibliothèque sous-jacente) : le code initialise Sentry et PostHog et recherche votre adresse IP publique via ipify. La page de confidentialité des données dit que seuls les noms des vulnérabilités lancées et les comptages d'usage sont envoyés, pas les prompts. Deuxièmement, la page des versions GitHub a été mise à jour pour la dernière fois en novembre 2025 alors que PyPI est passé à 1.0.10, si bien que les changelogs sont minces.
Le modèle économique est visible. La bibliothèque gratuite vous oriente vers Confident AI pour stocker les résultats, et sur sa page de tarification le red teaming n'est pas dans le plan Starter à 200 $ ou Team à 2 000 $ mais un module « Enterprise ++ » à prix sur mesure. Une équipe qui veut des évaluations planifiées et des rapports partagés sans ce contrat finira par construire sa propre plomberie JSON-vers-tableau de bord, ce que promptfoo offre dans son CLI open source.
Là où il fait la différence
Un ingénieur sécurité dans une fintech qui livre un agent de support avec des outils de remboursement et de compte
Montrer à l'équipe d'audit que l'agent a été testé contre OWASP avant le lancement
Enveloppez l'agent dans un model_callback async et lancez red_team avec le framework OWASP_ASI_2026 ; exportez l'évaluation des risques en JSON pour la revue. Budgétez des tokens de modèle juge par exécution et faites confirmer chaque échec par une personne.
Une équipe plateforme ML qui fait des vérifications nocturnes sur un chatbot RAG
Attraper les régressions de résistance à l'injection de prompt et à la fuite de données personnelles après des changements de prompt
Gardez une config YAML avec les vulnérabilités et attaques choisies et lancez le CLI en CI. Réglez les deux variables de désactivation de télémétrie dans le runner, et épinglez le modèle juge pour que les taux de réussite soient comparables d'une nuit à l'autre.
Un RSSI dans un assureur de 500 personnes qui compare les options de red-teaming
Décider entre l'outillage open source et un service de red-teaming managé
DeepTeam lui-même est gratuit, mais Confident AI ne vend le red teaming hébergé que comme module additionnel Enterprise à prix sur mesure. Comparez cela au temps du personnel pour lancer la bibliothèque et trier les constats du juge LLM à la main.
Avant de vous engager
- Mise en route
- pip install -U deepteam sur Python 3.9 à 3.13, définissez OPENAI_API_KEY ou configurez un autre modèle juge, écrivez un model_callback ; une première exécution à vulnérabilité unique prend quelques minutes.
- Intégrations
- Bâti sur DeepEval ; n'importe quel modèle pris en charge par DeepEval comme attaquant et juge ; CLI avec configs YAML ; bot GitHub de scan de code dans la documentation ; les résultats poussent vers Confident AI.
- Données et confidentialité
- Les prompts vont aux modèles attaquant et juge que vous configurez. La télémétrie via Sentry et PostHog avec une recherche d'IP publique est activée par défaut ; désactivez avec DEEPTEAM_TELEMETRY_OPT_OUT=YES et DEEPEVAL_TELEMETRY_OPT_OUT=YES. Aucun avis de sécurité GitHub publié.
- Coût à grande échelle
- La bibliothèque est gratuite ; chaque exécution coûte des tokens d'attaquant et de juge qui évoluent avec vulnérabilités x attaques x tours. Confident AI : Free (2 sièges, 5 exécutions de test par semaine), Starter 200 $ par mois, Team 2 000 $ par mois avec SOC 2 et SSO ; le red teaming est un module additionnel Enterprise.
- Limites
- 80 issues et pull requests ouvertes ; variance du juge entre modèles ; les attaques multi-tours multiplient la dépense de tokens ; les versions GitHub s'arrêtent à v1.0.9 de novembre 2025.
Les points forts
- Large couverture des vulnérabilités d'agents et de sécurité applicative
- Presets OWASP, NIST et MITRE ATLAS
- API Python et CLI piloté par YAML, les deux locaux
- Apache 2.0 avec des versions PyPI fréquentes
Les points faibles
- Le succès/échec dépend d'un juge LLM
- Télémétrie activée par défaut, incluant une recherche d'IP publique
- Le module de red-teaming hébergé est réservé à l'Enterprise
- Les notes de version GitHub sont en retard d'un an sur PyPI
Idéal pour
Les équipes Python qui construisent des agents et veulent une couverture de red-team mappée OWASP qu'elles peuvent lancer localement.
Alternatives à DeepTeam
DeepTeam : questions fréquentes
- DeepTeam vaut-il le coup ?
- Le catalogue le plus large de vulnérabilités d'agents et d'applications dans une bibliothèque de red-teaming ouverte, mais chaque verdict repose sur un juge LLM que vous devrez vérifier. Nous lui donnons 3.9 sur 5.
- Combien coûte DeepTeam ?
- Gratuit et open source sous Apache 2.0. La plateforme de Confident AI va d'un palier gratuit à 200 $ et 2 000 $ par mois ; son module de red-teaming est un module additionnel Enterprise à prix sur mesure.
- Quels sont les inconvénients de DeepTeam ?
- Le succès/échec dépend d'un juge LLM; télémétrie activée par défaut, incluant une recherche d'IP publique; le module de red-teaming hébergé est réservé à l'Enterprise; les notes de version GitHub sont en retard d'un an sur PyPI.
- À qui s’adresse DeepTeam ?
- Les équipes Python qui construisent des agents et veulent une couverture de red-team mappée OWASP qu'elles peuvent lancer localement.
- Combien coûte DeepTeam pour une équipe ou en production ?
- La bibliothèque est gratuite ; chaque exécution coûte des tokens d'attaquant et de juge qui évoluent avec vulnérabilités x attaques x tours. Confident AI : Free (2 sièges, 5 exécutions de test par semaine), Starter 200 $ par mois, Team 2 000 $ par mois avec SOC 2 et SSO ; le red teaming est un module additionnel Enterprise.
- DeepTeam est-il sûr pour les données de l’entreprise ?
- Les prompts vont aux modèles attaquant et juge que vous configurez. La télémétrie via Sentry et PostHog avec une recherche d'IP publique est activée par défaut ; désactivez avec DEEPTEAM_TELEMETRY_OPT_OUT=YES et DEEPEVAL_TELEMETRY_OPT_OUT=YES. Aucun avis de sécurité GitHub publié.
- Quelles sont les meilleures alternatives à DeepTeam ?
- Les alternatives les plus proches que nous avons testées sont promptfoo, PyRIT et garak.
Réponses vérifiées le 23 oct. 2026.