Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Llama Prompt Guard 2

Metas winzige offene Klassifikatoren mit 86M und 22M Parametern, die Text bei Prompt Injection und Jailbreaks als harmlos oder bösartig einstufen.

Getestet von Andrew Miller · Aktualisiert

Unsere Bewertung

4.2/5

Ein billiger erster Filter gegen eingeschleuste Anweisungen, den sich jede Agenten-Pipeline leisten kann, solange niemand ihn für die ganze Verteidigung hält.

Was ist Llama Prompt Guard 2?

Llama Prompt Guard 2 ist ein Paar kleiner Textklassifikatoren von Meta, die Versuche von Prompt Injection und Jailbreaks melden. Das 86M-Modell baut auf Microsofts mehrsprachiger Basis mDeBERTa auf; das 22M-Modell auf DeBERTa-xsmall ist die schnelle Variante, laut Meta mit 75% weniger Latenz und Rechenaufwand bei geringem Genauigkeitsverlust. Beide geben eines von zwei Labels zurück, harmlos oder bösartig, mit einem Wert.

Sie lesen 512 Tokens auf einmal, längere Dokumente müssen also in Stücke geteilt und parallel geprüft werden. Meta hat sie auf Englisch, Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thai evaluiert, doch nur das 86M hat eine mehrsprachige Basis. Ein Prompt wird markiert, wenn er ausdrücklich versucht, frühere Anweisungen auszuhebeln, ob er schaden würde oder nicht. Damit eignet er sich als Prüfung für nicht vertrauenswürdigen Text wie Webseiten und Tool-Ausgaben ebenso wie für Nutzernachrichten.

Die Gewichte stehen unter der Llama 4 Community License und sind auf Hugging Face zugangsbeschränkt. Die Modelle erschienen im April 2025 mit der Llama-4-Sammlung und gehören zu Metas Framework LlamaFirewall. Das 86M-Modell wurde im letzten Monat 101,122 Mal heruntergeladen.

Was kostet Llama Prompt Guard 2?

TarifPreisWas enthalten ist
86MFreeMehrsprachige Basis, höhere Genauigkeit
22MFreeSchneller: 19.3 ms pro 512 Tokens auf einer A100

Kostenlose offene Gewichte unter der Llama 4 Community License, zugangsbeschränkt auf Hugging Face; nur selbst gehostet, in den Größen 86M und 22M.

Lohnt sich Llama Prompt Guard 2?

Prompt Guard 2 macht genau eine Sache und kostet im Betrieb fast nichts. Auf Metas privatem Jailbreak-Testset außerhalb der Trainingsverteilung erkennt das 86M-Modell 97.5% der Angriffe bei 1% Fehlalarmen, gegenüber 21.2% beim ersten Prompt Guard; das 22M-Modell erkennt 88.7%. Die Latenz auf einer A100 bei 512 Tokens liegt bei 92.4 ms für das 86M und 19.3 ms für das 22M.

Die Ergebnisse mit Agenten sind die nützlichere Zahl. Auf AgentDojo stoppt das 86M bei 3% Einbuße an erledigten Aufgaben 81.2% der Angriffe und das 22M 78.4%, während ältere offene Detektoren von ProtectAI und Deepset 22.2% und 13.5% stoppen. In Metas LlamaFirewall-Paper senkte das 86M vor den Tool-Ausgaben den Angriffserfolg von 17.6% auf 7.5%.

Die Grenzen stehen in der Model Card. Es sieht 512 Tokens, eine lange abgerufene Seite muss also zerlegt werden, und ein auf mehrere Stücke verteilter Angriff kann durchrutschen. Es markiert anweisungsartigen Text, nicht Schaden, also löst Dokumentation, die "ignore previous instructions" zitiert, Alarm aus. Meta warnt, dass Angreifer sich an Klassifikatoren anpassen und die Genauigkeit davon abhängt, wie normaler Verkehr in deiner Anwendung aussieht, und empfiehlt Feintuning auf eigenen Daten. Das 22M-Modell ist außerhalb des Englischen deutlich schwächer.

Streng genommen ist es auch nicht Open Source: Die Llama 4 Community License fügt Bedingungen hinzu, und der Download ist zugangsbeschränkt. Für ein Team, das Gewichte unter Apache oder MIT braucht, wiegt das schwerer als der Benchmark.

Wo es sich lohnt

  • Ein Backend-Engineer, der einem Support-Bot eine Websuche hinzufügt

    Jede geladene Seite auf eingeschleuste Anweisungen prüfen, bevor sie das Modell erreicht

    Teile jede Seite in Stücke von 512 Tokens, bewerte sie parallel mit dem 22M-Modell und verwirf oder isoliere als bösartig markierte Stücke. Bei etwa 19 ms pro Stück auf einer GPU kommt zu einem Suchaufruf wenig hinzu.

  • Ein Plattformteam bei einem europäischen Versicherer mit Nutzern in mehreren Sprachen

    Jailbreak-Versuche in Chats auf Französisch, Deutsch, Italienisch und Spanisch blockieren

    Setze das 86M-Modell mit der mehrsprachigen Basis bei jedem Nutzerbeitrag ein; lege den Schwellenwert mit einigen hundert echten harmlosen Nachrichten pro Sprache fest, da Meta warnt, dass die Genauigkeit von deinem Verkehr abhängt.

  • Ein ML-Engineer mit einem gelabelten Satz früherer Angriffe auf sein Produkt

    Fehlalarme bei technischen Inhalten senken, die Prompts zitieren

    Feintune das 86M-Modell auf eigenen harmlosen und bösartigen Beispielen, wie die Model Card empfiehlt, und vergleiche die Erkennung bei 1% Fehlalarmen davor und danach.

Bevor du dich festlegst

Einrichtung
Die Llama-4-Lizenz auf Hugging Face akzeptieren, dann meta-llama/Llama-Prompt-Guard-2-86M oder -22M mit der Transformers-Pipeline text-classification laden; erstes Ergebnis in Minuten.
Integrationen
Transformers; als PromptGuard-Scanner in LlamaFirewall verwendet, das Beispiele für OpenAI Agents SDK und LangChain mitbringt.
Daten und Datenschutz
Selbst gehostet, Text verlässt deine Rechner also nie. Gewichte unter der Llama 4 Community License, zugänglich nur nach Metas Bedingungen.
Kosten im großen Maßstab
Keine API-Gebühr. Beide Modelle sind klein im Vergleich zu jedem LLM, das sie schützen; ein langes Dokument kostet einen Durchgang pro Stück von 512 Tokens.
Grenzen
Nur binäres Label harmlos oder bösartig; Kontext von 512 Tokens; anfällig für adaptive Angriffe; das 22M-Modell ist außerhalb des Englischen schwächer.

Was gut ist

  • 97.5% Erkennung bei 1% Fehlalarmen auf Metas Jailbreak-Set (86M)
  • 19.3 ms pro 512 Tokens auf einer A100 mit dem 22M-Modell
  • 81.2% der AgentDojo-Angriffe gestoppt bei 3% Nutzeneinbuße (86M)
  • Klein genug, um neben jedem Tool-Aufruf zu laufen

Was nicht

  • Fenster von 512 Tokens; lange Eingaben müssen zerlegt werden
  • Markiert anweisungsartigen Text, nicht schädliche Inhalte
  • Benchmarks stammen von Meta, teils auf einem privaten Set
  • Llama 4 Community License und zugangsbeschränkter Download

Am besten für

Teams, die eine schnelle, selbst gehostete Prüfung auf eingeschleuste Anweisungen in Nutzereingaben, abgerufenen Dokumenten und Tool-Ergebnissen wollen.

Alternativen zu Llama Prompt Guard 2

Llama Prompt Guard 2: häufige Fragen

Lohnt sich Llama Prompt Guard 2?
Ein billiger erster Filter gegen eingeschleuste Anweisungen, den sich jede Agenten-Pipeline leisten kann, solange niemand ihn für die ganze Verteidigung hält. Wir bewerten es mit 4.2 von 5.
Was kostet Llama Prompt Guard 2?
Kostenlose offene Gewichte unter der Llama 4 Community License, zugangsbeschränkt auf Hugging Face; nur selbst gehostet, in den Größen 86M und 22M.
Welche Nachteile hat Llama Prompt Guard 2?
Fenster von 512 Tokens; lange Eingaben müssen zerlegt werden; Markiert anweisungsartigen Text, nicht schädliche Inhalte; Benchmarks stammen von Meta, teils auf einem privaten Set; Llama 4 Community License und zugangsbeschränkter Download.
Für wen eignet sich Llama Prompt Guard 2?
Teams, die eine schnelle, selbst gehostete Prüfung auf eingeschleuste Anweisungen in Nutzereingaben, abgerufenen Dokumenten und Tool-Ergebnissen wollen.
Was kostet Llama Prompt Guard 2 für ein Team oder im Produktivbetrieb?
Keine API-Gebühr. Beide Modelle sind klein im Vergleich zu jedem LLM, das sie schützen; ein langes Dokument kostet einen Durchgang pro Stück von 512 Tokens.
Ist Llama Prompt Guard 2 sicher für Firmendaten?
Selbst gehostet, Text verlässt deine Rechner also nie. Gewichte unter der Llama 4 Community License, zugänglich nur nach Metas Bedingungen.
Was sind die besten Alternativen zu Llama Prompt Guard 2?
Die nächsten Alternativen, die wir getestet haben, sind GLiNER2.5-Decide, Shieldstral 1.0 3B und Laya.

Antworten geprüft am 6. Nov. 2026.

Du entwickelst Llama Prompt Guard 2? Zeig diese Bewertung auf deiner WebsiteLlama Prompt Guard 2 mit 4.2 von 5 bewertet auf ReviewRamble