Schritt 18 von 22
Guardrails
Ein- und Ausgaben auf Injection, Lecks und Regelverstöße prüfen. Agenten lesen nicht vertrauenswürdigen Text und führen echte Aktionen aus. Eine günstige Prüfung vor jedem Schritt fängt ab, was das Hauptmodell übersieht.
Von Sheela · Geprüft am 23. Okt. 2026 · So testen wir
So triffst du die Wahl
- Prompt Injection in abgerufenen Inhalten: Prüfe sie, bevor sie in den Kontext gelangen.
- Richtlinien und Themenregeln: ein Guardrail-Framework aus Regeln plus Modell.
- Riskante Tool-Aufrufe freigeben: ein schnelles Entscheidungsmodell oder ein Mensch in der Schleife.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Welche Risiken es tatsächlich erkennt
Ordne jede Option den Risiken zu, denen du ausgesetzt bist: Prompt Injection und Jailbreaks, Lecks persönlicher Daten und des System-Prompts, toxische oder regelwidrige Inhalte, themenfremde Anfragen und unsichere Tool-Nutzung. Die OWASP Top 10 for LLM Applications sind eine nützliche Checkliste; LLM01 (Prompt Injection), LLM02 (Offenlegung sensibler Informationen) und LLM06 (übermäßige Handlungsfreiheit) sind die, die Guardrails am direktesten adressieren. Ein Tool, das nur Toxizität bewertet, stoppt keine Injection, die in einer abgerufenen Webseite versteckt ist.
02
Wo in der Schleife es prüfen kann
Eingabeprüfungen sichten, was der Nutzer sendet; Ausgabeprüfungen sichten die Antwort; bei Agenten brauchst du außerdem Prüfungen für abgerufene Dokumente, Tool-Eingaben und Tool-Ergebnisse. NeMo Guardrails hat getrennte Rails für Eingabe, Ausgabe, Retrieval und Tool-Ausführung, und Lakera Guard nimmt jede davon als eigene Anfrage an. Indirekte Injection kommt über Retrieval und Tool-Ausgaben, ein Guard, der nur die Nachricht des Nutzers sieht, verpasst also den häufigsten Angriff auf Agenten.
03
Fehlalarme, gemessen an deinem eigenen Traffic
Jeder Detektor wägt Treffer gegen fälschlich blockierte Anfragen ab, und die Genauigkeitswerte der Anbieter werden auf deren eigenen Testdatensätzen gemessen. Lakera dokumentiert vier Strengestufen und nutzt standardmäßig die strengste; die Modellkarte von Metas Prompt Guard 2 warnt, dass die Genauigkeit bei anwendungsspezifischen Prompts sinkt. Schick vor dem Livegang ein paar hundert echte, harmlose Anfragen und eine Reihe bekannter Angriffe durch den Guard und notiere bei jedem Schwellenwert sowohl die Blockier- als auch die Fehlquote.
04
Latenz und Kosten pro Prüfung
Jede modellbasierte Prüfung fügt einen Umlauf hinzu, bevor der Nutzer eine Antwort sieht, und ein Agent kann mehrere pro Zug ausführen. Kleine Klassifikatoren sind schnell: Laya meldet einstellige Millisekunden auf einer GPU und GLiNER2.5-Decide ein paar hundert Millisekunden auf einer CPU, während es Sekunden kosten kann, das Haupt-LLM sich selbst prüfen zu lassen. Gehostete APIs fügen Netzwerkzeit hinzu und werden meist pro Anfrage abgerechnet, zähle also Anfragen pro Agenten-Zug, nicht pro Gespräch.
05
Selbst gehostet oder API
Guards sehen jeden Prompt und jede Antwort, sie verarbeiten also deine sensibelsten Daten. Offene Frameworks und Open-Weight-Modelle (NeMo Guardrails, Guardrails AI, GLiNER2.5-Decide, Laya) laufen in deiner Infrastruktur. Gehostete Dienste wie Jev oder Lakera Guard sind schneller eingeführt, fügen aber einen Auftragsverarbeiter hinzu; die selbst gehostete Option von Lakera braucht eine Enterprise-Lizenz.
06
Wie du Richtlinien festlegst
Manche Optionen bringen feste Detektoren mit (Injection, PII, Moderation); andere lassen dich pro Anfrage eigene Labels oder Ja/Nein-Fragen festlegen, was zu Geschäftsregeln passt wie "ist das eine Erstattungsanfrage über dem Limit". Entscheidungsmodelle wie Jev und Laya sind flexibel, verlangen aber, dass du die Fragen schreibst und testest. Frameworks wie NeMo Guardrails fügen Ablauflogik in Colang hinzu, was mächtig ist, aber eine weitere Sprache zum Lernen.
07
Pflege und Eigentümer
Diese Kategorie konsolidiert sich schnell. Guardrails AI schloss im August 2026 seinen gehosteten Hub und wurde von Harvey übernommen; LLM Guard von Protect AI wurde im Juli 2026 archiviert; Lakera gehört inzwischen Check Point. Prüfe das Datum des letzten Release und die Interessen des Eigentümers und halte den Guard hinter deiner eigenen Schnittstelle, damit er sich austauschen lässt.
Wie sich die Optionen unterscheiden
Guardrails gibt es in drei Familien. Frameworks (NeMo Guardrails, Guardrails AI) umhüllen deine LLM-Aufrufe mit einer Pipeline von Prüfungen und lassen dich Detektoren einstecken, von Regex- und PII-Tools bis zu Sicherheitsklassifikatoren wie Llama Guard; sie decken am meisten ab, brauchen aber Konfiguration. Gehostete Screening-APIs (Lakera Guard) geben dir gepflegte Detektoren hinter einem Endpunkt, mit einstellbarer Strenge und ohne eigene Modelle, zum Preis, dass Text an einen Anbieter geht. Kleine Klassifikations- und Entscheidungsmodelle (GLiNER2.5-Decide, Laya, Jev) beantworten eine Frage, die du festlegst, etwa "ist das ein Injection-Versuch" oder "soll dieser Tool-Aufruf freigegeben werden", mit einer Wahrscheinlichkeit, auf die du einen Schwellenwert setzen kannst.
In der Praxis kombinieren Teams sie: ein schneller Klassifikator oder eine API für jede Eingabe und jedes abgerufene Dokument, ein Framework oder Entscheidungsmodell für Geschäftsregeln und Tool-Freigaben und darunter Tool-Berechtigungen nach dem Prinzip der geringsten Rechte, denn kein Guard fängt jeden adaptiven Angriff ab.
7 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| NVIDIA NeMo GuardrailsRepo | 4.0/5 | NeMo Guardrails ist die breiteste offene Richtlinienschicht für Agenten und lässt sich diese Breite mit Konfigurationsaufwand, Latenz und einem Changelog voller Breaking Changes bezahlen. | Teams, die Agenten oder Assistenten für Kunden bauen und eine konfigurierbare Richtlinienschicht um jeden Modell- und Tool-Aufruf brauchen. | Kostenlos und Open Source unter Apache 2.0. NVIDIAs NemoGuard-Modelle und NIM-Microservices werden separat vertrieben. |
| Lakera Guard (Check Point AI Guardrails)Tool | 4.0/5 | Lakera Guard ist ein gut dokumentierter Filter gegen Prompt Injection, der sich mit einem API-Aufruf einbauen lässt, doch ab 10.000 Anfragen im Monat verhandelst du mit dem Enterprise-Vertrieb von Check Point. | Teams, die vor Chatbots und Agenten einen verwalteten Schutz gegen Prompt Injection und Datenlecks wollen, ohne eigene Klassifikatoren zu betreiben. | Community kostenlos: 10.000 Anfragen pro Monat, Prompts bis 8k Tokens, nur SaaS. Enterprise auf Anfrage: flexibles Volumen, SaaS oder Self-Hosting, SSO, RBAC, SIEM-Integration. Über die kostenlose Stufe hinaus kein veröffentlichter Preis. |
| JevModell | 3.8/5 | Jev hat typisierte Entscheidungen zum Produkt gemacht, und offene Modelle haben es inzwischen bei Wertung und Preis überholt. | Teams, die eine gehostete, günstige API für Text-Routing, Triage und Ja/Nein-Schranken wollen, ohne eigene GPUs zu betreiben. | 0,042 $ pro 1 Mio. Input-Tokens (42 $ pro Milliarde); Output-Tokens sind kostenlos. Gleicher Preis bei langem Kontext. Enterprise-Limits über den Vertrieb. |
| Splunk Agent ObservabilityTool | 3.7/5 | Galileos kleine Judge-Modelle machen es günstig, jede Agent-Konversation zu bewerten, doch unter Splunk ist daraus ein Enterprise-Kauf mit vorgeschaltetem Vertriebsgespräch geworden. | Große Organisationen, die schon Splunk Observability nutzen und jede Agent-Konversation bewerten sowie unsichere Aktionen zur Laufzeit blockieren wollen. | Agent Observability ab 100 $/Monat pro 1,2M Spans im Jahr, jährlich abgerechnet, mit 500M Luna-Tokens und 5 Luna-Fine-Tuning-Läufen pro Jahr; zusätzliche Luna-Tokens und längere Aufbewahrung nach Angebot. Splunk Observability Cloud Free Edition (bis 15 Hosts, unbefristet) umfasst Agent-Tracing. Galileos alte Tarife Free (5.000 Traces/Monat) und Pro (100 $/Monat bei jährlicher Zahlung, 50.000 Traces) werden nicht mehr veröffentlicht. |
| GLiNER2.5-DecideModell | 3.6/5 | GLiNER2.5-Decide ist ein schneller, ehrlicher Label-Klassifikator, der bei Fastinos Aufgaben gut abschneidet und bei denen aller anderen weit zurückliegt. | Ingenieure, die günstiges Intent-Routing, Moderation oder Spam-Entscheidungen nur auf der CPU brauchen und auf eigenen Labels feinabstimmen können. | Kostenlose Gewichte und Bibliothek unter Apache 2.0. Fastinos gehosteter Fine-Tuning-Agent ist ein separates Produkt. |
| LayaModell | 3.4/5 | Sehr schnell und wirklich offen, ab Werk bei schwierigen Entscheidungen aber nahe am Raten: eine Basis zum Feinjustieren, kein Ersatz für Jev. | Teams mit eigenen gelabelten Entscheidungsdaten, die ein winziges, selbst gehostetes Modell für schnelles Routing oder Guardrails feinjustieren wollen. | Kostenlose Gewichte und Python-Paket unter Apache 2.0. Keine gehostete kostenpflichtige API; du betreibst es selbst. |
| Guardrails AIRepo | 3.2/5 | Eine gute Idee ohne Besitzer: Der Apache-2.0-Code läuft noch, aber niemand mergt Korrekturen, und die gehosteten Teile sind weg. | Bestehende Nutzer mit deterministischen Validatoren, die Versionen festschreiben und selbst patchen können. | Kostenlos und Open Source unter Apache 2.0. Die gehostete Hub-Registry und die kostenlose entfernte Inferenz wurden am 25. August 2026 geschlossen. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 23. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Typ | Was es prüft | Bereitstellung | Veröffentlichte Latenz | Lizenz |
|---|---|---|---|---|---|
| NVIDIA NeMo Guardrails | Rails-Framework (YAML + Colang) | Eingabe, Ausgabe, Retrieval, Tools, Dialog | Selbst gehostet: Bibliothek, Server oder NIM | Hängt von den genutzten Rails ab | Apache 2.0 |
| Lakera Guard (Check Point AI Guardrails) | Gehostete Screening-API | Injection, PII, Moderation, Links, Tools | SaaS; selbst gehostet in Enterprise | Unter 50 ms (Angabe des Anbieters) | Proprietär |
| Jev | Gehostetes Entscheidungsmodell | Ja/Nein, Auswahl oder Wert, den du festlegst | Nur API | 267–316 ms im Median | Proprietär |
| GLiNER2.5-Decide | Zero-Shot-Klassifikator (unter 0.5B) | Labels, die du pro Anfrage festlegst | Selbst gehostet, CPU oder GPU | 294 ms auf einer Desktop-CPU | Apache 2.0 |
| Laya | Offenes Entscheidungsmodell (421M) | Ja/Nein, Auswahl oder Wert, den du festlegst | Selbst gehostet, CPU oder GPU | 5,8 ms im Median | Apache 2.0 |
| Guardrails AI | Validator-Bibliothek | PII, Toxizität, Struktur, eigene | Nur selbst gehostet (Hub geschlossen) | Nicht veröffentlicht | Apache 2.0 |
Verbinde es mit deinem Agenten
MCP-Server, mit denen Assistenten wie Claude, ChatGPT und Cursor diese Tools direkt nutzen können.
Wo diese Stufe hingehört
- Mit deinen Dokumenten chatten: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Kundensupport-Agent: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Coding-Agent: Wir würden mit Jev MCP anfangen.
- Assistent mit Langzeitgedächtnis: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Pipeline für Bildgenerierung: Wir würden mit GLiNER2.5-Decide anfangen.
- Videoproduktion: Wir würden mit GLiNER2.5-Decide anfangen.
- Sprachagent: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Private KI auf dem eigenen Gerät: Wir würden mit Laya MCP Server anfangen.
- Dokumentenverarbeitung: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Dein eigenes feinabgestimmtes Modell: Wir würden mit NVIDIA NeMo Guardrails anfangen.
- Workflow-Automatisierung: Wir würden mit Jev MCP anfangen.