Qu’est-ce que LlamaFirewall ?
LlamaFirewall est un cadre Python de Meta qui exécute des scanners de sécurité à des points choisis de la boucle d'un chatbot ou d'un agent : sur l'entrée utilisateur, sur les contenus non fiables comme les pages web et les sorties d'outils, sur le raisonnement de l'agent et sur le code qu'il écrit. Il se trouve dans le dépôt PurpleLlama, à côté des modèles Llama Guard de Meta et des benchmarks CyberSecEval.
Il fournit quatre types de scanners. PromptGuard 2 est un petit classifieur de type BERT pour l'injection de prompt directe et les jailbreaks. AlignmentCheck demande à un grand modèle de lire la chaîne de pensée de l'agent et de signaler un détournement d'objectif ou une injection indirecte. CodeShield est un analyseur statique du code généré, avec des règles Semgrep et regex pour huit langages. Des scanners regex et des scanners à prompt LLM personnalisés couvrent les secrets et les règles maison.
Il s'installe avec pip install llamafirewall sous Python 3.10 ou plus, télécharge ses modèles de garde depuis Hugging Face (l'accès aux modèles Llama est requis) et propose des exemples pour l'OpenAI Agents SDK et LangChain. AlignmentCheck appelle par défaut un modèle hébergé via Together AI et demande donc une clé d'API Together. Le code est sous licence MIT ; la dernière version PyPI, la 1.0.3, est sortie le 29 mai 2025.
LlamaFirewall vaut-il le coup ?
La valeur de LlamaFirewall tient aux preuves livrées avec lui. L'article de Meta a mesuré chaque couche sur AgentDojo, un benchmark où des agents accomplissent des tâches pendant que des attaquants glissent des instructions dans leurs outils. Sans garde-fou, 17.6% des attaques réussissaient. PromptGuard 2 86M seul a ramené ce taux à 7.5% sans presque rien perdre en tâches accomplies ; AlignmentCheck sur Llama 4 Maverick l'a ramené à 2.89% ; les deux ensemble ont atteint 1.75%, une baisse de plus de 90%, tandis que la réussite des tâches passait de 47.7% à 42.7%.
Ce compromis est la leçon utile. Le classifieur bon marché est rapide, 19.3 ms pour le modèle 22M et 92.4 ms pour le 86M sur une A100 à 512 tokens, mais il ne voit que le texte qui ressemble à une injection. AlignmentCheck repère des détournements plus subtils parce qu'il lit ce que l'agent cherche à faire, et il le paie : la trace d'exemple de l'article montre environ 860 ms et 1,490 ms par étape, et il envoie le raisonnement de l'agent au fournisseur de modèles que vous configurez.
CodeShield est l'atout discret. Meta annonce 96% de précision et 79% de rappel sur des complétions étiquetées à la main, et environ 90% des entrées passent dès une première étape d'environ 60 ms. Pour un agent de code qui écrit et exécute du code, c'est un contrôle peu coûteux sur plus de 50 classes de failles.
Le hic : c'est une publication de recherche en mode maintenance. Le paquet PyPI en est toujours à la 1.0.3 de mai 2025, et les commits récents du dossier sont des correctifs automatiques de typage et de dépendances. Le README principal de PurpleLlama ne le décrit même pas. Les scanners sont solides ; attendez-vous à maintenir vous-même le code d'assemblage et les mises à jour.
Notre avis : LlamaFirewall se lit surtout comme une architecture de référence. Ses couches PromptGuard 2 et CodeShield valent d'être utilisées telles quelles, et l'idée d'AlignmentCheck vaut d'être reprise avec le grand modèle que vous payez déjà.
Là où il fait la différence
Un ingénieur plateforme avec un agent de navigation construit sur l'OpenAI Agents SDK
Empêcher des instructions cachées dans les pages récupérées de détourner l'agent
Branchez PromptGuard 2 sur chaque résultat d'outil et AlignmentCheck sur chaque étape, à partir de la démo OpenAI Agents de Meta. Comptez quelques dizaines de millisecondes pour le classifieur et environ une seconde par étape pour l'audit, plus les tokens facturés par Together AI.
Une équipe d'outils pour développeurs dont l'agent de code exécute ce qu'il écrit
Repérer le code non sûr avant que l'agent l'exécute ou le commite
Faites passer CodeShield sur chaque extrait généré. La plupart des entrées franchissent la première étape en environ 60 ms ; le code signalé part vers un second niveau plus lent ou vers une personne.
Un architecte sécurité dans une banque qui rédige une norme de garde-fous pour agents
Justifier chiffres à l'appui quels contrôles placer où
Citez les résultats AgentDojo de l'article, 17.6% d'attaques réussies sans garde-fou contre 1.75% avec les deux couches, et la baisse de 5 points des tâches réussies, pour fixer le coût accepté de chaque couche.
Avant de vous engager
- Mise en route
- pip install llamafirewall sous Python 3.10+, acceptez la licence Llama de Meta sur Hugging Face, lancez llamafirewall configure pour récupérer les modèles de garde et exportez TOGETHER_API_KEY pour AlignmentCheck.
- Intégrations
- API Python avec des règles de scanners par rôle ; exemples pour l'OpenAI Agents SDK et des agents LangChain ou LangGraph ; scanners regex et à prompt LLM personnalisés.
- Données et confidentialité
- PromptGuard 2, CodeShield et les scanners regex tournent sur votre machine. AlignmentCheck envoie la conversation et le raisonnement de l'agent au fournisseur de modèles configuré, Together AI par défaut.
- Coût à grande échelle
- Le cadre est gratuit. Les contrôles du classifieur et de CodeShield coûtent du temps CPU ou GPU local ; AlignmentCheck coûte un appel à un grand modèle par étape auditée, facturé par votre fournisseur.
- Limites
- PromptGuard 2 lit 512 tokens à la fois ; l'article qualifie AlignmentCheck d'expérimental ; dernière version du paquet en mai 2025, commits récents limités à la maintenance automatique.
Les points forts
- Chiffres AgentDojo publiés pour chaque couche et pour la combinaison
- Scanners pour l'entrée, les sorties d'outils, le raisonnement de l'agent et le code généré
- CodeShield : 96% de précision sur le jeu étiqueté de Meta, première étape d'environ 60 ms
- Licence MIT ; exemples pour OpenAI Agents SDK et LangChain
Les points faibles
- Aucune version PyPI depuis la 1.0.3 de mai 2025
- AlignmentCheck exige par défaut un grand modèle hébergé et une clé d'API Together
- AlignmentCheck ajoute environ une seconde par étape de l'agent
- Absent du README principal de PurpleLlama
Idéal pour
Les équipes qui construisent des agents dotés d'outils, veulent une protection en couches auto-hébergeable et peuvent entretenir un cadre peu fini.
Alternatives à LlamaFirewall
LlamaFirewall : questions fréquentes
- LlamaFirewall vaut-il le coup ?
- L'article qui l'accompagne est le meilleur plaidoyer public pour des garde-fous d'agents en couches, mais le paquet n'a pas eu de version depuis mai 2025 et sa vérification la plus forte dépend d'un grand modèle hébergé. Nous lui donnons 3.8 sur 5.
- Combien coûte LlamaFirewall ?
- Gratuit sous licence MIT. PromptGuard 2 et CodeShield tournent en local ; AlignmentCheck appelle par défaut un modèle hébergé via Together AI, facturé par Together.
- Quels sont les inconvénients de LlamaFirewall ?
- Aucune version PyPI depuis la 1.0.3 de mai 2025; alignmentCheck exige par défaut un grand modèle hébergé et une clé d'API Together; alignmentCheck ajoute environ une seconde par étape de l'agent; absent du README principal de PurpleLlama.
- À qui s’adresse LlamaFirewall ?
- Les équipes qui construisent des agents dotés d'outils, veulent une protection en couches auto-hébergeable et peuvent entretenir un cadre peu fini.
- Combien coûte LlamaFirewall pour une équipe ou en production ?
- Le cadre est gratuit. Les contrôles du classifieur et de CodeShield coûtent du temps CPU ou GPU local ; AlignmentCheck coûte un appel à un grand modèle par étape auditée, facturé par votre fournisseur.
- LlamaFirewall est-il sûr pour les données de l’entreprise ?
- PromptGuard 2, CodeShield et les scanners regex tournent sur votre machine. AlignmentCheck envoie la conversation et le raisonnement de l'agent au fournisseur de modèles configuré, Together AI par défaut.
- Quelles sont les meilleures alternatives à LlamaFirewall ?
- Les alternatives les plus proches que nous avons testées sont NVIDIA NeMo Guardrails et Guardrails AI.
Réponses vérifiées le 6 nov. 2026.