Was ist LlamaFirewall?
LlamaFirewall ist ein Python-Framework von Meta, das Sicherheitsscanner an gewählten Stellen im Ablauf eines Chatbots oder Agenten ausführt: bei der Nutzereingabe, bei nicht vertrauenswürdigen Inhalten wie Webseiten und Tool-Ausgaben, beim Denkprozess des Agenten und bei dem Code, den er schreibt. Es liegt im Repository PurpleLlama neben Metas Llama-Guard-Modellen und den CyberSecEval-Benchmarks.
Es bringt vier Arten von Scannern mit. PromptGuard 2 ist ein kleiner Klassifikator im BERT-Stil für direkte Prompt Injection und Jailbreaks. AlignmentCheck lässt ein großes Modell die Gedankenkette des Agenten lesen und Zielübernahmen oder indirekte Injection melden. CodeShield ist ein statischer Analysator für generierten Code mit Semgrep- und Regex-Regeln für acht Sprachen. Regex-Scanner und eigene LLM-Prompt-Scanner decken Geheimnisse und Hausregeln ab.
Installiert wird es mit pip install llamafirewall unter Python 3.10 oder neuer. Es lädt seine Guard-Modelle von Hugging Face (Zugriff auf die Llama-Modelle ist nötig) und hat Beispiele für das OpenAI Agents SDK und LangChain. AlignmentCheck ruft standardmäßig ein gehostetes Modell über Together AI auf und braucht daher einen Together-API-Schlüssel. Der Code steht unter MIT-Lizenz; die letzte PyPI-Version, 1.0.3, erschien am 29. Mai 2025.
Lohnt sich LlamaFirewall?
Der Wert von LlamaFirewall liegt in den Belegen, die mitgeliefert wurden. Metas Paper hat jede Schicht auf AgentDojo gemessen, einem Benchmark, in dem Agenten Aufgaben erledigen, während Angreifer Anweisungen in ihre Tools schmuggeln. Ohne Schutz waren 17.6% der Angriffe erfolgreich. PromptGuard 2 86M allein senkte das auf 7.5%, fast ohne Verlust bei erledigten Aufgaben; AlignmentCheck mit Llama 4 Maverick senkte es auf 2.89%; beide zusammen erreichten 1.75%, eine Reduktion um mehr als 90%, während die Erfolgsquote bei Aufgaben von 47.7% auf 42.7% fiel.
Dieser Zielkonflikt ist die nützliche Lektion. Der günstige Klassifikator ist schnell, 19.3 ms für das 22M-Modell und 92.4 ms für das 86M auf einer A100 bei 512 Tokens, sieht aber nur Text, der nach Injection aussieht. AlignmentCheck erkennt subtilere Übernahmen, weil es liest, was der Agent vorhat, und zahlt dafür: Die Beispielspur im Paper zeigt etwa 860 ms und 1,490 ms pro Schritt, und es schickt das Denken des Agenten an den Modellanbieter, den du einstellst.
CodeShield ist die unauffällige Stärke. Meta meldet 96% Präzision und 79% Trefferquote auf von Hand gelabelten Vervollständigungen, wobei etwa 90% der Eingaben in einem ersten Durchgang von rund 60 ms erledigt sind. Für einen Coding-Agenten, der Code schreibt und ausführt, ist das eine günstige Prüfung auf mehr als 50 Schwachstellenklassen.
Der Haken: Das ist eine Forschungsveröffentlichung im Wartungsmodus. Das PyPI-Paket steht noch bei 1.0.3 vom Mai 2025, und die jüngsten Commits im Ordner sind automatische Korrekturen für Typprüfung und Abhängigkeiten. Das Haupt-README von PurpleLlama beschreibt es nicht einmal. Die Scanner sind solide; den Verbindungscode und die Upgrades pflegst du selbst.
Unser Fazit: LlamaFirewall taugt am meisten als Referenzentwurf. Die Schichten PromptGuard 2 und CodeShield lohnen sich so, wie sie sind, und die Idee hinter AlignmentCheck lohnt sich zum Nachbauen mit dem großen Modell, für das du ohnehin zahlst.
Wo es sich lohnt
Ein Plattform-Engineer mit einem Browser-Agenten auf Basis des OpenAI Agents SDK
Verhindern, dass versteckte Anweisungen in geladenen Seiten den Agenten umlenken
Hänge PromptGuard 2 an jedes Tool-Ergebnis und AlignmentCheck an jeden Schritt, ausgehend von Metas OpenAI-Agents-Demo. Rechne mit einigen zehn Millisekunden für den Klassifikator und etwa einer Sekunde pro Schritt für die Prüfung, dazu Tokenkosten bei Together AI.
Ein Developer-Tools-Team, dessen Coding-Agent ausführt, was er schreibt
Unsicheren Code finden, bevor der Agent ihn ausführt oder committet
Lass CodeShield über jedes generierte Snippet laufen. Die meisten Eingaben passieren den ersten Durchgang in etwa 60 ms; markierter Code geht an eine langsamere zweite Stufe oder an einen Menschen.
Ein Sicherheitsarchitekt einer Bank, der einen Guardrail-Standard für Agenten entwirft
Mit Zahlen begründen, welche Prüfung wohin gehört
Zitiere die AgentDojo-Ergebnisse des Papers, 17.6% erfolgreiche Angriffe ohne Schutz gegenüber 1.75% mit beiden Schichten, und den Rückgang um 5 Punkte bei erledigten Aufgaben, um die akzeptierten Kosten jeder Schicht festzulegen.
Bevor du dich festlegst
- Einrichtung
- pip install llamafirewall unter Python 3.10+, Metas Llama-Lizenz auf Hugging Face akzeptieren, llamafirewall configure ausführen, um die Guard-Modelle zu laden, und TOGETHER_API_KEY für AlignmentCheck setzen.
- Integrationen
- Python-API mit rollenbasierten Scanner-Policies; Beispiele für das OpenAI Agents SDK und Agenten mit LangChain oder LangGraph; eigene Regex- und LLM-Prompt-Scanner.
- Daten und Datenschutz
- PromptGuard 2, CodeShield und Regex-Scanner laufen auf deinem Rechner. AlignmentCheck schickt das Gespräch und das Denken des Agenten an den eingestellten Modellanbieter, standardmäßig Together AI.
- Kosten im großen Maßstab
- Das Framework ist kostenlos. Klassifikator- und CodeShield-Prüfungen kosten lokale CPU- oder GPU-Zeit; AlignmentCheck kostet einen Aufruf eines großen Modells pro geprüftem Schritt, abgerechnet von deinem Anbieter.
- Grenzen
- PromptGuard 2 liest 512 Tokens auf einmal; das Paper nennt AlignmentCheck experimentell; letzte Paketversion im Mai 2025, jüngste Commits nur automatische Wartung.
Was gut ist
- Veröffentlichte AgentDojo-Zahlen für jede Schicht und die Kombination
- Scanner für Eingaben, Tool-Ausgaben, Agenten-Denken und generierten Code
- CodeShield: 96% Präzision auf Metas gelabeltem Set, erster Durchgang rund 60 ms
- MIT-Lizenz; Beispiele für OpenAI Agents SDK und LangChain
Was nicht
- Keine PyPI-Version seit 1.0.3 im Mai 2025
- AlignmentCheck braucht standardmäßig ein großes gehostetes Modell und einen Together-API-Schlüssel
- AlignmentCheck kostet etwa eine Sekunde pro Agentenschritt
- Im Haupt-README von PurpleLlama nicht dokumentiert
Am besten für
Teams, die Agenten mit Tools bauen, einen mehrschichtigen, selbst hostbaren Schutz wollen und ein unpoliertes Framework pflegen können.
Alternativen zu LlamaFirewall
LlamaFirewall: häufige Fragen
- Lohnt sich LlamaFirewall?
- Das zugehörige Paper liefert das beste öffentliche Argument für mehrschichtige Agenten-Guardrails, doch das Paket hat seit Mai 2025 keine neue Version, und die stärkste Prüfung hängt an einem großen gehosteten Modell. Wir bewerten es mit 3.8 von 5.
- Was kostet LlamaFirewall?
- Kostenlos unter MIT-Lizenz. PromptGuard 2 und CodeShield laufen lokal; AlignmentCheck ruft standardmäßig ein gehostetes Modell über Together AI auf, abgerechnet von Together.
- Welche Nachteile hat LlamaFirewall?
- Keine PyPI-Version seit 1.0.3 im Mai 2025; AlignmentCheck braucht standardmäßig ein großes gehostetes Modell und einen Together-API-Schlüssel; AlignmentCheck kostet etwa eine Sekunde pro Agentenschritt; Im Haupt-README von PurpleLlama nicht dokumentiert.
- Für wen eignet sich LlamaFirewall?
- Teams, die Agenten mit Tools bauen, einen mehrschichtigen, selbst hostbaren Schutz wollen und ein unpoliertes Framework pflegen können.
- Was kostet LlamaFirewall für ein Team oder im Produktivbetrieb?
- Das Framework ist kostenlos. Klassifikator- und CodeShield-Prüfungen kosten lokale CPU- oder GPU-Zeit; AlignmentCheck kostet einen Aufruf eines großen Modells pro geprüftem Schritt, abgerechnet von deinem Anbieter.
- Ist LlamaFirewall sicher für Firmendaten?
- PromptGuard 2, CodeShield und Regex-Scanner laufen auf deinem Rechner. AlignmentCheck schickt das Gespräch und das Denken des Agenten an den eingestellten Modellanbieter, standardmäßig Together AI.
- Was sind die besten Alternativen zu LlamaFirewall?
- Die nächsten Alternativen, die wir getestet haben, sind NVIDIA NeMo Guardrails und Guardrails AI.
Antworten geprüft am 6. Nov. 2026.