Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Étape 19 sur 22

Sécurité et red teaming

Attaquer votre propre système avant que quelqu'un d'autre ne le fasse, et analyser ce qu'il livre. Les applications d'IA ajoutent de nouvelles surfaces d'attaque : injection de prompt, outils qui fuient, dépendances piégées et code écrit par l'IA. Testez-les comme n'importe quel autre logiciel.

Par Sheela · Vérifié le 19 oct. 2026 · Notre méthode d’évaluation

Comment choisir

  • Faites du red teaming sur les prompts et les agents avant le lancement, puis après chaque changement de modèle.
  • Analysez les dépendances et le code écrit par l'IA dans le même pipeline que le reste de votre code.
  • Figez les versions des passerelles et des SDK ; des attaques de la chaîne d'approvisionnement ont touché des paquets d'IA populaires.

Ce qu’il faut regarder

Les questions qui départagent les options, par ordre d’importance.

  1. 01

    Une couverture rapportée au Top 10 OWASP pour les LLM

    Le Top 10 OWASP pour les applications LLM (édition 2025) est la liste de contrôle commune : injection de prompt, divulgation d'informations sensibles, chaîne d'approvisionnement, empoisonnement des données et des modèles, mauvaise gestion des sorties, autonomie excessive, fuite du prompt système, faiblesses des vecteurs et des embeddings, désinformation et consommation illimitée. Demandez quels points un outil teste réellement. DeepTeam fournit un préréglage OWASP ; garak couvre bien les points liés au modèle mais pas l'autonomie excessive ; aucun outil ne couvre les dix à lui seul.

  2. 02

    Génération d'attaques automatisée et en plusieurs tours

    Une liste fixe de jailbreaks connus trouve d'anciennes faiblesses ; des attaques générées contre votre système en trouvent de nouvelles. Crescendo et TAP de PyRIT font monter la pression sur plusieurs tours, pilotés par un modèle attaquant, DeepTeam et promptfoo génèrent des attaques avec un LLM, et garak exécute une grande bibliothèque de sondes publiées. Les attaques générées coûtent des tokens des deux côtés : prévoyez-les dans le budget.

  3. 03

    Les risques des agents et des outils, pas seulement du modèle

    Dès qu'un modèle peut appeler des outils, les défaillances dangereuses sont l'autonomie excessive, les autorisations défaillantes et les instructions injectées dans les sorties d'outils. Testez l'agent déployé avec ses vrais outils (contrôles BOLA, BFLA et d'empoisonnement d'outils de DeepTeam, tests d'usage dangereux des outils de promptfoo, PyRIT contre un endpoint réel), et passez en revue les autorisations accordées à chaque serveur MCP et à chaque outil ; le moindre privilège compte plus que n'importe quel scanner.

  4. 04

    Chaîne d'approvisionnement : figez et analysez ce que vous installez

    Les paquets d'IA sont désormais des cibles. En mars 2026, des attaquants ont publié sur PyPI deux versions piégées de LiteLLM à l'aide d'identifiants de mainteneurs volés. Figez les versions exactes et les empreintes des passerelles et des SDK, mettez à jour de façon délibérée, et analysez les dépendances et le code écrit par l'IA dans le même pipeline que le reste de votre code. Analysez aussi les serveurs MCP et les skills d'agents : Snyk Agent Scan vérifie les descriptions d'outils et les skills à la recherche d'empoisonnement et d'instructions cachées.

  5. 05

    Intégration à la CI et reproductibilité

    Un red teaming unique avant le lancement ne suffit pas ; relancez-le après chaque changement de modèle, de prompt ou d'outil. promptfoo est conçu pour la CI avec des configurations YAML ; garak et Snyk Agent Scan sont des CLI avec une sortie lisible par machine que vous pouvez scripter ; PyRIT et DeepTeam sont des bibliothèques Python que vous enveloppez vous-même. Fixez un ensemble de base d'attaques pour que les résultats soient comparables d'une exécution à l'autre.

  6. 06

    Comment les résultats sont jugés

    La plupart des outils décident de la réussite ou de l'échec avec un LLM juge ou un détecteur, et les deux se trompent. Vérifiez si vous pouvez voir la transcription complète derrière chaque résultat, changer de modèle juge et renoter des résultats stockés. PyRIT conserve chaque conversation dans une base de données pour la renotation ; garak écrit un journal JSONL de chaque tentative. Traitez un résultat signalé comme une piste à confirmer, pas comme une vulnérabilité avérée.

  7. 07

    Licence et traitement des données

    Tous les outils de red teaming présentés ici sont open source (MIT ou Apache 2.0) et tournent en local, n'envoyant le trafic d'attaque qu'au modèle que vous ciblez. Snyk Agent Scan fait exception : il envoie les descriptions d'outils et le contenu des skills à l'API de Snyk pour analyse. La plateforme hébergée de Confident AI, module optionnel de DeepTeam, stocke les résultats chez le fournisseur.

Ce qui distingue les options

Les outils de sécurité pour applications d'IA se distinguent par ce qu'ils attaquent. Les scanners de vulnérabilités (garak) lancent une grande bibliothèque d'attaques connues contre un endpoint de modèle et rapportent des taux d'échec ; ils sont rapides, reproductibles et utiles après un changement de modèle. Les frameworks de red teaming (PyRIT, DeepTeam, le mode red team de promptfoo) génèrent des attaques contre votre application, y compris des escalades en plusieurs tours et des abus propres aux agents sur les outils et les autorisations, et conviennent aux revues avant lancement et à la CI. Les suites d'évaluation axées sur la sécurité (Inspect) permettent de construire des évaluations rigoureuses et sur mesure du comportement des agents en sandbox. Les scanners de chaîne d'approvisionnement (Snyk Agent Scan) vérifient les serveurs MCP et les skills auxquels vos agents font confiance plutôt que le modèle.

Les passerelles comme LiteLLM n'apparaissent à cette étape que comme quelque chose à sécuriser : figez leurs versions et suivez leurs avis de sécurité. Ce ne sont pas des outils de sécurité et elles sont exclues de la comparaison ci-dessous.

15 outils comparés

Classés selon notre note. Ouvrez un avis pour voir les sources, les prix et le verdict complet.

Outils comparés : Sécurité et red teaming
OutilNoteNotre verdictIdéal pourPrix
promptfoodépôt4.5/5promptfoo transforme les tests de régression LLM et les scans de red-team en un fichier YAML et une commande CI ; son nouveau propriétaire est la partie à surveiller.Les équipes qui livrent des applis LLM et veulent des tests de régression et des scans de sécurité en CI.CLI gratuit et open source (MIT) ; l'usage Community inclut le red teaming jusqu'à 10 000 sondes par mois. Enterprise (cloud managé) et On-Premise sont tarifés sur devis.
Inspectdépôt4.4/5Inspect est le harnais partagé des tests de sécurité IA gouvernementaux et indépendants ; les équipes produit qui vérifient des prompts en CI le trouveront plus framework qu'elles n'en ont besoin.Les chercheurs et équipes de sécurité qui font tourner des évaluations d'agents et de capacité.Gratuit et open source sous la licence MIT.
Anthropic Sandbox Runtime (srt)dépôt4.4/5Votre agent de code peut être persuadé de n'importe quoi ; le système d'exploitation ne le peut pas, et srt met le système d'exploitation aux commandes.Tout développeur qui fait tourner un agent de code sur sa propre machine, comme première couche de protection.Gratuit et open source sous Apache 2.0.
Trail of Bits Skillsdépôt4.4/5Un prompt générique « vérifie les problèmes OWASP » est une supposition ; ceci est comment une entreprise d'audit en exercice cherche réellement les bugs, écrit pour votre agent.Les équipes qui veulent une revue de sécurité structurée et crédible de leur agent de code avant les fusions risquées.Gratuit sous CC BY-SA 4.0.
garakdépôt4.3/5Le scanner ouvert de référence pour les faiblesses au niveau du modèle : lancez-le avant le lancement et après chaque changement de modèle, mais ne le prenez pas pour un test des outils et permissions de votre agent.Les équipes qui veulent un scan de vulnérabilités répétable au niveau du modèle d'un endpoint LLM avant le lancement et après chaque changement de modèle.Gratuit et open source sous Apache 2.0. Vous ne payez que les appels de modèle qu'un scan effectue.
PyRITdépôt4.2/5PyRIT automatise les conversations lentes et escaladantes qui cassent les chatbots, à condition que quelqu'un dans l'équipe écrive le Python qui le pilote.Les ingénieurs sécurité qui doivent faire du red-team sur les chatbots et agents en profondeur, y compris l'escalade multi-tours et les front ends web.Gratuit et open source sous MIT. Vous payez les appels de modèle utilisés par les attaques et les scoreurs basés sur LLM.
security-guidance plugin (Claude Code)dépôt4.2/5Pour un utilisateur de Claude Code, c'est un gain de sécurité en une commande, avec un relecteur qui ne corrige pas son propre devoir.Les utilisateurs de Claude Code qui veulent une revue de sécurité à chaque changement sans rien configurer.Plugin gratuit sous Apache 2.0 ; les deux revues adossées à un modèle utilisent votre usage Claude ou API.
NVIDIA OpenShelldépôt4.1/5Un bac à sable d'agent poids lourd conçu pour les agents que vous laissez tourner sans surveillance, pas ceux que vous regardez.Les équipes qui font tourner des agents sans surveillance ou sur du code non fiable et ont besoin de règles réseau par hôte et par méthode.Gratuit et open source sous Apache 2.0.
ToolHivedépôt4.1/5Les scanners vous disent si un serveur MCP paraît dangereux ; ToolHive limite ce qu'il peut faire s'il l'est.Les équipes plateforme et sécurité qui ont besoin de faire tourner, contenir et auditer les serveurs MCP dans une entreprise.Open source sous Apache 2.0 ; Stacklok Enterprise ajoute des fonctions et du support, tarifé sur demande.
OpenSandboxdépôt4.1/5Une réponse auto-hébergée aux bacs à sable de code hébergés, qui vaut le travail Kubernetes quand vous avez besoin de milliers d'environnements d'agents éphémères sur vos propres machines.Les équipes plateforme qui font tourner des évaluations d'agents, des rollouts RL ou de l'exécution de code multi-tenant et veulent des bacs à sable sur leur propre infrastructure.Gratuit et open source sous Apache 2.0 ; pas d'édition payante des mainteneurs.
CC Safety Netdépôt4.0/5La ceinture de sécurité pour les dégâts qu'un bac à sable autorise exprès : les force-push, les hard reset et rm -rf à l'intérieur de votre propre projet.Quiconque laisse un agent de code lancer des commandes shell sans en approuver chacune.Gratuit et open source sous MIT.
DeepTeamdépôt3.9/5Le catalogue le plus large de vulnérabilités d'agents et d'applications dans une bibliothèque de red-teaming ouverte, mais chaque verdict repose sur un juge LLM que vous devrez vérifier.Les équipes Python qui construisent des agents et veulent une couverture de red-team mappée OWASP qu'elles peuvent lancer localement.Gratuit et open source sous Apache 2.0. La plateforme de Confident AI va d'un palier gratuit à 200 $ et 2 000 $ par mois ; son module de red-teaming est un module additionnel Enterprise à prix sur mesure.
Cloudflare Security Audit Skilldépôt3.9/5Le rare outil d'audit IA qui suppose ses propres constats faux jusqu'à ce qu'un autre agent échoue à les démolir.Les équipes de sécurité qui auditent une base de code et veulent des constats vérifiés plutôt qu'une longue liste de peut-être.Gratuit sous MIT ; les audits utilisent beaucoup de tokens de modèle.
Snyk Agent Scandépôt3.8/5Une première vérification sensée des serveurs MCP et skills auxquels vos agents font confiance, à condition d'accepter d'envoyer leurs descriptions à Snyk et de scanner les configs non fiables dans un bac à sable.Les équipes qui laissent les développeurs ou agents installer des serveurs MCP et des skills et veulent une vérification de chaîne d'approvisionnement avant de leur faire confiance.Gratuit et open source sous Apache 2.0 ; a besoin d'un compte Snyk et d'un jeton d'API. Le scan d'arrière-plan à l'échelle de la flotte rapporte dans Snyk Evo, tarifé sur demande.
Cisco Skill Scannerdépôt3.7/5Vaut la peine d'être placé devant votre dépôt de skills, tant que vous croyez ses propres chiffres : il attrape l'évident, pas tout.Les équipes qui font tourner un dépôt de skills interne et veulent une barrière de scan avant que quoi que ce soit n'atteigne les développeurs.Gratuit sous Apache 2.0 ; les analyseurs LLM et cloud optionnels sont facturés via leurs propres fournisseurs.

Côte à côte

Les caractéristiques qui comptent pour cette étape. Vérifiées le 19 oct. 2026 ; confirmez-les sur le site du fournisseur avant de vous engager.

Sécurité et red teaming : caractéristiques côte à côte
OutilObjetGénération d'attaquesInterfaceAdéquation à la CILicence
promptfooRed teaming d'applications et tests de régressionInjection, jailbreak et fuites générésCLI + YAMLConçu pour la CIMIT
InspectÉvaluations d'agents et de sécuritéVous écrivez les tâches ; collection d'évaluationsPythonNon publiéMIT
garakAnalyse de vulnérabilités des modèles et endpointsBibliothèque de sondes publiéesCLIScriptable ; rapport JSONLApache 2.0
PyRITRed teaming en plusieurs toursCrescendo, TAP, Skeleton KeyPython, CLI, interface webScriptable via pyrit_scanMIT
DeepTeamVulnérabilités des agents et des applicationsPlus de 20 méthodes, générées par LLMPythonNon documentéApache 2.0
Snyk Agent ScanChaîne d'approvisionnement des serveurs MCP et des skillsAucune ; analyse les descriptions d'outilsCLI (uvx ou binaire)Sortie encore expérimentaleApache 2.0

Connectez-le à votre agent

Des serveurs MCP qui permettent à des assistants comme Claude, ChatGPT et Cursor d’utiliser directement ces outils.

Où s’insère cette étape

Sources de ce guide