Red teaming de l'IA
Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.
Aussi appelé : red team, red teaming
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Le terme vient des exercices militaires et de sécurité dans lesquels une équipe rouge joue l'attaquant. Pour les modèles de langage, la cible est le comportement : peut-on pousser le système à donner des instructions dangereuses, à divulguer des données, à insulter les utilisateurs ou à effectuer une action qu'il ne devrait pas ?
Comment ça marche
Ganguli et al. ont décrit des premiers travaux de red teaming des modèles de langage visant à découvrir, mesurer et réduire les sorties nuisibles. Ils ont constaté que les modèles entraînés par apprentissage par renforcement à partir de retours humains (RLHF) devenaient plus difficiles à attaquer à mesure qu'ils grandissaient.
En pratique, les équipes combinent trois approches. Des red teamers humains, souvent experts d'un domaine, rédigent des attaques créatives. Des outils automatisés génèrent de nombreuses variantes d'attaques connues, comme les jailbreaks et les prompt injections, et notent les réponses. Parmi les options open source figurent garak, PyRIT et promptfoo. Les résultats alimentent ensuite l'entraînement, les garde-fous ou des modifications du produit.
Red teaming ou évaluation
L'évaluation des LLM ordinaire demande dans quelle mesure le système fait son travail sur des entrées typiques. Le red teaming demande comment il échoue face à des entrées hostiles. Les deux sont nécessaires, et les bonnes découvertes du red teaming deviennent souvent des cas de test permanents.
Limites
Une red team peut montrer qu'un problème existe ; elle ne peut pas prouver qu'il n'en reste aucun. Les résultats dépendent du talent et de l'imagination des testeurs et de la façon dont le modèle est déployé : un test sur un modèle de base dit donc peu de chose d'un agent construit par-dessus avec des outils.
Termes liés
- Jailbreak (LLM)
- Un jailbreak (débridage) est un prompt ou une technique qui amène un modèle de langage à produire une sortie que son entraînement à la sûreté est censé refuser, comme des instructions dangereuses, au moyen de jeux de rôle, d'obscurcissement, d'encodages inhabituels ou de longs textes adverses.
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Prompt injection
- La prompt injection (injection de prompt) est une attaque dans laquelle un texte fourni à un modèle de langage, saisi par un utilisateur ou caché dans une page web, un fichier ou un résultat d'outil, modifie le comportement du modèle d'une façon que son développeur n'avait pas prévue.
- Garde-fous (IA)
- Les garde-fous (guardrails) sont des contrôles exécutés autour d'un modèle de langage qui inspectent les entrées et les sorties et les bloquent, les réécrivent ou les redirigent, afin qu'une application reste dans son sujet, évite les contenus nuisibles et respecte des règles que le modèle seul ne tiendrait pas de façon fiable.
- Alignement de l'IA
- L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.