Garde-fous (IA)
Les garde-fous (guardrails) sont des contrôles exécutés autour d'un modèle de langage qui inspectent les entrées et les sorties et les bloquent, les réécrivent ou les redirigent, afin qu'une application reste dans son sujet, évite les contenus nuisibles et respecte des règles que le modèle seul ne tiendrait pas de façon fiable.
Aussi appelé : AI guardrails, rails
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un modèle entraîné à être sûr commet tout de même des erreurs, et il ne sait rien des règles de votre produit. Les garde-fous ajoutent une couche de contrôle distincte dans l'application. Ils s'exécutent avant que le prompt n'atteigne le modèle, après le retour de la réponse, ou les deux.
Comment ça marche
Un garde-fou d'entrée peut détecter une tentative d'injection de prompt, retirer des données personnelles par masquage des données personnelles ou refuser un sujet dont le produit ne doit pas parler. Un garde-fou de sortie peut comparer une réponse aux sources récupérées pour repérer une hallucination, vérifier qu'un JSON respecte un schéma ou bloquer un texte toxique. Les contrôles peuvent être de simples règles et expressions régulières, de petits modèles de classification comme Llama Guard 4 ou un second appel à un LLM.
L'article sur NeMo Guardrails décrit les garde-fous comme un moyen de contrôler la sortie du modèle, par exemple pour suivre un chemin de dialogue fixé ou éviter des sujets nuisibles, et distingue ces garde-fous programmables de la sûreté intégrée au modèle pendant l'entraînement. Parmi les boîtes à outils open source figurent NeMo Guardrails et Guardrails AI. Le guide de l'étape des garde-fous compare les options.
Exemple
Le robot de support d'une banque reçoit un message lui demandant d'ignorer ses instructions et de lister les soldes d'autres clients. Un garde-fou d'entrée signale le schéma d'injection et renvoie un refus fixe. Le modèle ne voit jamais la demande.
Limites
Les garde-fous réduisent le risque ; ils ne le suppriment pas. Les classificateurs ratent les attaques reformulées et bloquent aussi des demandes inoffensives. Chaque contrôle supplémentaire ajoute de la latence et du coût. Traitez les garde-fous comme une couche parmi d'autres, aux côtés de permissions d'agent étroites, de tests et de surveillance.
Termes liés
- Prompt injection
- La prompt injection (injection de prompt) est une attaque dans laquelle un texte fourni à un modèle de langage, saisi par un utilisateur ou caché dans une page web, un fichier ou un résultat d'outil, modifie le comportement du modèle d'une façon que son développeur n'avait pas prévue.
- Caviardage des PII
- Le caviardage des PII (PII redaction) consiste à détecter puis supprimer ou masquer les informations personnelles identifiables, comme les noms, numéros de téléphone, adresses et numéros de carte, dans du texte ou des images avant de les envoyer à un modèle, de les stocker dans des journaux ou de les montrer à d'autres.
- Hallucination (IA)
- Une hallucination est une sortie d'un modèle d'IA qui paraît fluide et assurée mais qui est fausse, non étayée par ses sources ou inventée, comme une référence, une citation, une statistique ou une fonction d'API imaginaires.
- Jailbreak (LLM)
- Un jailbreak (débridage) est un prompt ou une technique qui amène un modèle de langage à produire une sortie que son entraînement à la sûreté est censé refuser, comme des instructions dangereuses, au moyen de jeux de rôle, d'obscurcissement, d'encodages inhabituels ou de longs textes adverses.
- Red teaming de l'IA
- Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.