Guardrails für KI-Apps und Agenten: was sie erkennen, was sie kosten und was wichtiger ist

Sobald Ihr Chatbot oder Agent vor Kunden steht, können Fremde alles Mögliche eintippen, und jede Webseite, E-Mail oder jedes Dokument, das er liest, kann eigene Anweisungen mitbringen. Guardrails sind die Prüfungen rund um das Modell, die diesen Verkehr filtern. Sie lohnen sich und können günstig sein, aber keine davon rettet einen Agenten, dem mehr Macht gegeben wurde, als seine Aufgabe braucht.

Dieser Beitrag behandelt KI-Funktionen und Agenten, die Sie an Nutzer ausliefern. Geht es Ihnen um einen Coding-Agenten auf dem Rechner eines Entwicklers, behandelt unser Leitfaden zur Absicherung von Coding-Agenten Sandboxes, Befehlswächter und CI-Gates für diesen Fall. Jede Zahl stammt aus unseren Reviews oder aus den Hersteller- und Forschungsdokumenten, die sie zitieren; wir haben diese Werkzeuge nicht selbst ausgeführt.

Was eine Guardrail tatsächlich erkennt

Vier Probleme machen den Großteil dessen aus, wogegen diese Produkte verkauft werden. Die OWASP Top 10 for LLM Applications sind eine nützliche Checkliste, und Guardrails adressieren drei ihrer Einträge am direktesten: Prompt Injection (LLM01), Offenlegung sensibler Informationen (LLM02) und übermäßige Handlungsfreiheit (LLM06).

• Prompt Injection. Text, der Ihre Anweisungen durch die eines anderen ersetzen will. Die direkte Form kommt vom Nutzer. Die indirekte versteckt sich in einer abgerufenen Seite, einer E-Mail oder einem Werkzeugergebnis, und sie schadet Agenten, weil das Modell sie als Teil seiner Arbeit liest.
• Jailbreaks. Versuche, das Modell von seinen Sicherheitsregeln abzubringen, oft über mehrere Gesprächsrunden verteilt.
• Unsichere Ausgaben. Schädliche oder richtlinienwidrige Antworten sowie Antworten, die Dinge behaupten, die die abgerufenen Dokumente nicht stützen.
• Datenabfluss. Personenbezogene Daten, Geheimnisse oder Ihr System-Prompt, die in einer Antwort nach außen gelangen, oder ein Link in einer Antwort, der dorthin zeigt, wo er nicht hinzeigen sollte.

Kein Produkt deckt alle vier gleich gut ab. Ein Injection-Detektor markiert Text, der wie eine Anweisung aussieht, nicht Schaden: Metas Modellkarte für Llama Prompt Guard 2 weist darauf hin, dass Dokumentation, die "ignore previous instructions" zitiert, ihn auslöst. Ein Moderationsmodell, das Gewalt bewertet, bemerkt keine höfliche Anweisung im PDF eines Lieferanten. Ordnen Sie jede Prüfung einem Risiko zu, bevor Sie etwas kaufen.

Drei Arten von Guardrails

Sicherheitsmodelle, die Sie selbst hosten

Das sind Modelle mit offenen Gewichten, die Sie neben Ihrem eigenen betreiben. Text verlässt nie Ihre Rechner, und es gibt keine Gebühr pro Prüfung; dafür gehören GPU, Updates und Feinabstimmung Ihnen.

• Llama Prompt Guard 2 (4.2) ist der günstige Injection-Filter. Das 86M-Modell erkennt 97.5% der Angriffe in Metas privatem Jailbreak-Datensatz bei einer Falsch-positiv-Rate von 1%. Auf AgentDojo, einem Benchmark, bei dem Angreifer Anweisungen in den Werkzeugen eines Agenten platzieren, stoppt es 81.2% bei 3% weniger erledigten Aufgaben. Es liest 512 Tokens auf einmal, lange Seiten müssen also in Abschnitte geteilt werden, und der Download ist durch die Llama 4 Community License beschränkt.
• Qwen3Guard (4.3) ist das mehrsprachige Moderationsmodell: 119 Sprachen und Dialekte, Größen von 0.6B bis 8B, Apache 2.0. Es kennzeichnet Text als sicher, umstritten oder unsicher, sodass sich eine Kinder-App und eine Plattform für Erwachsenenliteratur ein Modell teilen und sich nur darin unterscheiden, was "controversial" bedeutet. Eine Stream-Variante prüft die Antwort Token für Token, während sie entsteht.
• Granite Guardian 4.1 (4.0) ist IBMs 8B-Prüfmodell. Neben Schaden prüft es, ob eine Antwort im abgerufenen Text begründet ist und ob der Funktionsaufruf eines Agenten zu den bereitgestellten Werkzeugen passt. Es arbeitet nur auf Englisch, und IBM sieht es für Monitoring und Stichproben vor, nicht für jede Nachricht.
• gpt-oss-safeguard (4.0) nimmt eine Richtlinie in Alltagssprache entgegen und liefert eine Entscheidung samt Begründung, sodass ein Trust-and-Safety-Team eine Regel ändern kann, ohne neue Trainingsdaten zu labeln. Es ist langsamer und schwerer als ein Klassifikator, das 20b braucht eine GPU mit 16 GB, und OpenAI warnt, dass die sichtbare Begründung halluziniert sein kann.

Guardrail-APIs in der Cloud

Ein gehosteter Dienst betreibt und aktualisiert die Detektoren. Sie schicken jeden Prompt und jede Antwort übers Netz und erhalten ein Urteil zurück. Dafür nehmen Sie einen neuen Auftragsverarbeiter und einen Netzwerksprung in Kauf und müssen keine Modelle selbst betreiben.

• Google Model Armor (4.2) prüft auf Injection, schädliche Inhalte, sensible Daten und zweifelhafte Links für $0.10 pro Million Tokens, die ersten 2 Millionen pro Monat sind kostenlos. Es funktioniert mit Modellen außerhalb von Google Cloud. Jede Anfrage wird einzeln bewertet, ohne Gedächtnis für das Gespräch, und Base64 wird nicht dekodiert.
• Azure AI Content Safety (4.1) bewertet Schaden in Text und Bildern, und seine Prompt Shields prüfen sowohl Nutzer-Prompts als auch Dokumente auf eingeschleuste Befehle. Die Standardstufe kostet $0.375 pro 1,000 Textdatensätze mit bis zu 1,000 Zeichen. Microsoft sagt, Eingaben würden weder gespeichert noch zum Training genutzt; Prompt Shields ist überwiegend auf Englisch trainiert.
• Lakera Guard (4.0), inzwischen von Check Point vertrieben, nimmt einen ganzen Chat im OpenAI-Format samt Werkzeugaufrufen an und prüft den jeweils letzten Austausch. Die kostenlose Stufe umfasst 10,000 Anfragen im Monat; darüber hinaus gibt es keinen veröffentlichten Preis.

Guardrail-Frameworks

Ein Framework ist kein Detektor. Es ist die Verrohrung, die an jedem Punkt Ihrer App Prüfungen ausführt und entscheidet, was mit dem Ergebnis geschieht; Modelle oder APIs stecken Sie hinein.

• NVIDIA NeMo Guardrails (4.0) hat getrennte Rails für Eingabe, Ausgabe, Abruf und Werkzeugausführung und bindet Llama Guard, NVIDIAs NemoGuard-Modelle, Presidio und kommerzielle Detektoren ein. Es verlangt echte Konfiguration in YAML und in der eigenen Sprache Colang, Version 0.24.0 brachte sechs inkompatible Änderungen, und anonyme Telemetrie an NVIDIA ist standardmäßig an.
• LlamaFirewall (3.8) ist Metas geschichteter Entwurf: Prompt Guard 2 auf Eingaben und Werkzeugausgaben, AlignmentCheck, das die Überlegungen des Agenten auf Anzeichen einer Übernahme liest, und CodeShield, das erzeugten Code prüft. Das zugehörige Paper ist der beste öffentliche Beleg dafür, dass Schichten wirken; das Paket selbst hatte seit Mai 2025 kein Release.
• Guardrails AI (3.2) ist das warnende Beispiel. Der gehostete Hub schloss am 25. August 2026, das Team ging zu Harvey, seitdem wurde nichts mehr gemergt, und im Mai landete eine bösartige Version 0.10.1 auf PyPI. Die Offline-Validatoren für Regex, Schema und Länge laufen weiter; für neue Projekte gibt es bessere Wege.

Was Schichten bringen

Die klarsten Zahlen stammen aus Metas LlamaFirewall-Paper, gemessen auf AgentDojo. Ohne Guardrail waren 17.6% der Angriffe erfolgreich. Prompt Guard 2 allein senkte das auf 7.5%. AlignmentCheck, das ein großes Modell fragt, ob der Agent noch tut, worum der Nutzer gebeten hat, senkte es auf 2.89%. Beide zusammen kamen auf 1.75%, während der Anteil erledigter Aufgaben von 47.7% auf 42.7% fiel.

Daraus folgen zwei Lehren. Ein schneller Filter und eine langsamere Prüfung mit Begründung übersehen unterschiedliche Angriffe, also ergänzen sie sich. Und Schutz kostet neben Geld auch Nutzen: Nach unserer Rechnung gelang etwa jede zehnte Aufgabe, die vorher klappte, nicht mehr.

Latenz und Kosten im Anfragepfad

Jede Prüfung vor der Antwort kostet Zeit, und ein Agent kann mehrere pro Runde ausführen: die Nachricht des Nutzers, jedes abgerufene Dokument, jedes Werkzeugergebnis und die Schlussantwort. Zählen Sie Prüfungen pro Runde, nicht pro Gespräch.

Prüfung	Veröffentlichte Latenz	Kosten
Prompt Guard 2, 22M	19.3 ms pro 512 Tokens auf einer A100	Ihre GPU
Prompt Guard 2, 86M	92.4 ms pro 512 Tokens auf einer A100	Ihre GPU
Erster Durchlauf von CodeShield	Etwa 60 ms	Ihre CPU oder GPU
AlignmentCheck	Etwa 860 bis 1,490 ms pro Schritt im Trace des Papers	Ein Aufruf eines großen Modells pro geprüftem Schritt
Lakera Guard	Unter 50 ms (Herstellerangabe)	Kostenlos bis 10,000 Anfragen im Monat, danach Angebot
Google Model Armor	In unseren Quellen nicht angegeben	$0.10 pro Million Tokens
Azure AI Content Safety	In unseren Quellen nicht angegeben	$0.375 pro 1,000 Textdatensätze

Zu diesen Preisen kostet die Prüfung von einer Million kurzer Chatnachrichten bei Model Armor ein paar Dollar und bei Azure $375. Eine Milliarde Tokens im Monat bei Model Armor kostet etwa $100, oder nichts innerhalb der 3 Milliarden, die in einem Security-Command-Center-Abo Enterprise oder Premium enthalten sind. Lakera zählt jedes geprüfte Element als Anfrage. Ein Agent, der den Prompt, zwei Dokumente und die Antwort prüft, verbraucht also vier pro Runde und hat die kostenlose Stufe nach 2,500 Runden aufgebraucht.

Selbst hosten verlagert die Rechnung auf Hardware. Offene Modelle kosten keine Gebühr, aber jemand bezahlt die GPUs, und NVIDIA AI Enterprise, das den NeMo-Guardrails-Microservice abdeckt, kostet laut Liste $4,500 pro GPU und Jahr.

Drei Gewohnheiten halten die Verzögerung klein. Lassen Sie den günstigen Klassifikator über alles laufen und schicken Sie nur riskante Schritte an die langsamen Prüfmodelle; OpenAI beschreibt dasselbe Muster für gpt-oss-safeguard, mit schnellen Klassifikatoren zuerst und einem Teil des Verkehrs für das Reasoning-Modell. Führen Sie unabhängige Prüfungen parallel aus, wie es NeMos IORails-Engine für NemoGuard-Prüfungen tut. Und prüfen Sie gestreamte Antworten, während der Text eintrifft: Die Stream-Variante von Qwen3Guard bewertet jedes Token, und Lakera verlangt Abschnitte von mindestens 10 Tokens.

Fehlalarme sind die eigentliche Abstimmungsarbeit

Jeder Detektor wägt übersehene Angriffe gegen blockierte Kunden ab, und Genauigkeitszahlen der Hersteller stammen aus deren eigenen Testsätzen. Lakera liefert jeden Detektor auf L4 aus, der strengsten Stufe, und nennt seine Standardrichtlinie "intentionally strict". Meta sagt, die Genauigkeit von Prompt Guard 2 hänge davon ab, wie normaler Verkehr in Ihrer Anwendung aussieht, und empfiehlt Feinabstimmung mit eigenen Daten.

Bevor Sie etwas blockieren, schicken Sie einige hundert echte, harmlose Anfragen und eine Reihe bekannter Angriffe durch die Guardrail und notieren Sie für jede Schwelle Blockier- und Fehlquote. Gehen Sie dann im reinen Protokollmodus live, bei Lakera Detect-Modus genannt, und lesen Sie ein bis zwei Wochen lang, was markiert wird. Legen Sie vorher fest, was der Nutzer bei einer Sperre sieht: Eine klare Ablehnung mit einem Weg zu einem Menschen ist besser als ein stiller Fehler. Das Label umstritten von Qwen3Guard gibt Ihnen eine dritte Möglichkeit zwischen Zulassen und Blockieren: den Fall in eine Prüfwarteschlange zu schicken.

Wo Red Teaming und Lieferketten-Scans hingehören

Guardrails wirken auf den Live-Verkehr. Red Teaming greift Ihre App an, bevor Nutzer es tun, und zeigt, ob die Guardrails funktionieren; Lieferketten-Scans prüfen den Code und die Werkzeuge, denen Ihre App vertraut. Sie brauchen alle drei, zu verschiedenen Zeitpunkten.

• Bei der Modellwahl. CyberSecEval (3.9) misst, wie oft ein nacktes Modell verwundbaren Code schreibt oder eingeschleustem Text gehorcht. Es sieht Ihre Prompts, Werkzeuge und Ihren Abruf nicht, gehört also neben die Modellkarte, nicht an die Stelle eines Tests der App.
• Vor dem Start und nach jeder Änderung. garak (4.3) feuert eine Bibliothek veröffentlichter Angriffe auf einen Endpunkt; richten Sie es auf die ausgelieferte App mit vorgeschalteten Guardrails, denn System-Prompt und Filter verändern das Ergebnis. promptfoo (4.5) legt Red-Team-Tests in eine YAML-Datei, die in CI läuft. DeepTeam (3.9) deckt Agentenrisiken wie umgangene Autorisierung und vergiftete Werkzeugbeschreibungen ab.
• Geduldige Angreifer. PyRIT (4.2) führt mehrstufige Angriffe wie Crescendo aus, bei denen ein Angreifermodell langsam eskaliert. Genau diesen Fall übersieht ein Filter, der eine Anfrage nach der anderen bewertet, systembedingt.

Was das Red Team findet, sollte in die Schwellen der Guardrail zurückfließen und, häufiger noch, in die Werkzeugrechte.

Die Guardrails selbst sind Teil Ihrer Lieferkette. Die bösartige Version 0.10.1 von Guardrails AI ist ein Beispiel; im März 2026 haben Angreifer außerdem zwei vergiftete LiteLLM-Releases mit gestohlenen Maintainer-Zugangsdaten auf PyPI veröffentlicht. Pinnen Sie exakte Versionen und Hashes für Guardrail-Bibliotheken, Gateways und SDKs und scannen Sie sie mit dem übrigen Code: Semgrep (4.3) als Pflichtprüfung für Pull Requests und Snyk (4.0) für Abhängigkeiten und Container, dessen kostenloser Plan bei 100 Snyk-Code-Tests im Monat endet. Für die MCP-Server und Skills, die Ihr Agent lädt, sucht Snyk Agent Scan (3.8) nach versteckten Anweisungen in Werkzeugbeschreibungen und schickt diese Beschreibungen dafür an Snyk.

Minimale Rechte zählen mehr als jeder Filter

Das beste geschichtete Ergebnis oben ließ immer noch 1.75% der Angriffe durch, auf einem Benchmark mit vorab bekannten Angriffen, und Meta warnt, dass sich Angreifer an Klassifikatoren anpassen. Planen Sie für die Injection, die jeden Filter überwindet, und fragen Sie, was sie danach tun kann. Die Antwort bestimmen die Werkzeuge, die Sie dem Agenten gegeben haben, nicht die Guardrail.

• Im Namen des Nutzers handeln, nicht mit einem Dienstkonto. Trägt ein Werkzeugaufruf die Identität des angemeldeten Nutzers, kann eine eingeschleuste Anweisung keine Daten holen, die dieser Nutzer nicht sehen dürfte. Prüfen Sie die Autorisierung im Code, nie im Prompt.
• Jedem Werkzeug die engste Berechtigung geben. Ein Agent, der Fragen zu Bestellungen beantwortet, braucht eine schreibgeschützte Sicht auf die Bestellungen eines Kunden, nicht die Datenbank.
• Vor Unumkehrbares einen Menschen setzen. Zahlungen, Löschungen und Nachrichten an externe Adressen sollten auf eine Bestätigung warten, die sich das Modell nicht selbst geben kann.
• Begrenzen, wohin Daten gehen können. Ein Agent, der jede URL abrufen kann, kann Ihre Daten an jede URL schicken.
• Die Werkzeuge isolieren. ToolHive (4.1) betreibt jeden MCP-Server in einem eigenen Container ohne Ihre lokalen Zugangsdaten, ergänzt identitätsbasierte Zugriffsrichtlinien pro Anfrage und führt Audit-Logs. Sein Review stellt klar, dass Isolation einen Server nicht daran hindert, bewusst gewährten Zugriff zu missbrauchen. Wenn ein Agent Code ausführt, stellt OpenSandbox (4.1) ihm per API eine Wegwerf-Sandbox bereit, doch die ist ein gewöhnlicher Container, solange Sie nicht gVisor, Kata oder Firecracker konfigurieren, und läuft ohne Authentifizierung, wenn kein API-Schlüssel gesetzt ist.
• Jeden Werkzeugaufruf protokollieren, mit Nutzer, Eingabe und Ergebnis, damit sich ein Vorfall nachvollziehen lässt.

Ein Startaufbau für ein kleines Team

Stellen Sie sich fünf Leute vor, die einen Support-Chatbot oder einen kleinen Agenten auf einer einzigen Cloud ausliefern, ohne jemanden, in dessen Jobtitel Sicherheit steht.

1. Zuerst die Rechte. Listen Sie jedes Werkzeug auf, geben Sie jedem die engste Berechtigung und setzen Sie einen Bestätigungsschritt vor alles, was sendet, zahlt oder löscht. Das kostet einen Nachmittag und bewirkt mehr als jedes Produkt unten.
2. Eine gehostete Prüfung für Nutzereingaben, abgerufene Dokumente und Antworten: Model Armor, wenn Sie auf Google Cloud oder auf keiner bestimmten Cloud sind, Azure AI Content Safety, wenn Sie bereits auf Azure arbeiten. Die kostenlose Stufe von Lakera reicht für einen Prototyp. Wenn Sie schon GPUs betreiben, ist Prompt Guard 2 22M auf Werkzeugausgaben fast kostenlos, und Qwen3Guard 0.6B ist das günstigste mehrsprachige Moderationsmodell im Betrieb.
3. Zwei Wochen nur protokollieren, dann Blockieren einschalten, mit Schwellen, die Sie an Ihrem eigenen Verkehr geprüft haben.
4. Eine Red-Team-Datei in CI. Eine promptfoo-Konfiguration, die bei jeder Prompt- oder Modelländerung läuft, und ein eingegrenzter garak-Scan nach einem Modellwechsel.
5. Gepinnte Abhängigkeiten und Semgrep als Pflichtprüfung für Pull Requests.

Die Software hier ist kostenlos oder fast. Die Rechnungen kommen von der Prüfung pro Anfrage und von den Modell-Tokens, die Red-Team-Läufe verbrauchen.

Ein Startaufbau für ein reguliertes Unternehmen

Eine Bank, ein Versicherer oder ein Gesundheitsdienstleister hat dieselben Risiken, dazu Prüfer, Regeln zur Datenresidenz und eine Lieferantenprüfung für jeden neuen Auftragsverarbeiter.

1. Identitätsgebundene Werkzeuge. Agenten handeln mit der Identität des Nutzers. MCP-Server laufen hinter ToolHive für Richtlinien pro Anfrage, Isolation und Audit-Logs, und erzeugter Code läuft in OpenSandbox mit konfigurierter sicherer Laufzeit und API-Schlüssel.
2. Ein zentraler Kontrollpunkt. NeMo Guardrails mit Rails für Eingabe, Abruf, Werkzeugausführung und Ausgabe, gepinnter Version, abgeschalteter Telemetrie über DO_NOT_TRACK=1 und require_iorails=True, damit Konfigurationen, die die schnelle Engine nicht ausführen kann, sichtbar scheitern, statt still auf die ältere zurückzufallen.
3. Detektoren, die Ihre Datenregeln erfüllen. Selbst gehostetes Prompt Guard 2 auf jeder Eingabe und jedem Werkzeugergebnis; Qwen3Guard für mehrsprachige Moderation oder Granite Guardian, wenn Englisch genügt und Sie Prüfungen auf Begründetheit und Funktionsaufrufe unter Apache 2.0 wollen. Ist eine Cloud-API erlaubt, nehmen Sie die bereits freigegebene: Azure verarbeitet die meisten Prüfungen in der gewählten Region und unterstützt kundenverwaltete Schlüssel, und Google sagt, Model Armor verwerfe Inhalte nach jeder Prüfung, sofern das Logging nicht eingeschaltet ist. Lakera bietet in Enterprise ein vom Netz getrenntes Selbsthosting. Beachten Sie, dass mehrere Vorschaufunktionen von Azure, darunter die Erkennung fehlender Begründung, am 30. April 2027 eingestellt werden.
4. Langsame Prüfmodelle, wo sie sich lohnen. gpt-oss-safeguard für Richtlinienentscheidungen und Einsprüche, die eine schriftliche Begründung brauchen, und eine Prüfung im Stil von AlignmentCheck bei riskanten Agentenschritten, mit einem großen Modell, für das Sie bereits einen Vertrag haben.
5. Belege für Tests. CyberSecEval bei der Modellwahl, die OWASP-Presets von DeepTeam, um einem Prüfer zu zeigen, was getestet wurde, und PyRIT in den Händen eines eigenen Red-Teamers für mehrstufige Angriffe. Wiederholen Sie das nach jeder Änderung an Modell, Prompt, Guardrail oder Werkzeug und bewahren Sie die Transkripte auf.
6. Lieferkette und Eigentümer. Gepinnte Hashes, Semgrep und Snyk in CI, Snyk Agent Scan für neue MCP-Server, sobald Ihr Datenschutzbeauftragter das Senden von Werkzeugbeschreibungen an Snyk freigegeben hat. Dieser Markt wechselt schnell den Besitzer: Lakera gehört jetzt Check Point, promptfoo OpenAI, und der gehostete Dienst von Guardrails AI ist weg. Halten Sie jede Guardrail hinter Ihrer eigenen Schnittstelle, damit sie austauschbar bleibt.

Der Haken: Die meisten Guardrails sehen Text Stück für Stück, und Angreifer wissen das. Model Armor hat kein Gedächtnis für das Gespräch, dekodiert kein Base64 und überspringt übergroße Eingaben, statt sie zu markieren. Prompt Guard 2 liest 512 Tokens, ein auf mehrere Abschnitte verteilter Angriff kann also durchrutschen. Azures Prompt Shields enden bei 10,000 Zeichen für den Prompt und 10,000 über höchstens fünf Dokumente. Außerhalb des Englischen verlieren die meisten an Boden. Beurteilen Sie einen Filter danach, was er kostet und wie oft er sich irrt, nie danach, ob er vollständig ist.

Unser Fazit: Guardrails sind der Türsteher, Rechte sind die Schlösser an den Zimmern. Ein Türsteher weist die meisten Störenfriede ab und gelegentlich einen Stammgast, die Schlösser entscheiden, wie viel Schaden der anrichten kann, der doch hineinkommt. Bauen Sie zuerst die Schlösser ein, stellen Sie den günstigsten Türsteher ein, der die Sprachen Ihrer Kunden spricht, und schicken Sie die teuren Prüfer nur an die Türen, auf die es ankommt.