Guardrails (KI)
Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.
Auch: AI guardrails, rails
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Modell, das auf Sicherheit trainiert ist, macht trotzdem Fehler, und es weiß nichts über die Regeln deines Produkts. Guardrails fügen in der Anwendung eine eigene Kontrollschicht hinzu. Sie laufen, bevor der Prompt das Modell erreicht, nachdem die Antwort zurückkommt, oder beides.
So funktioniert es
Eine Eingabe-Leitplanke kann einen Versuch der Prompt Injection erkennen, personenbezogene Daten per PII-Schwärzung entfernen oder ein Thema ablehnen, das das Produkt nicht behandeln soll. Eine Ausgabe-Leitplanke kann eine Antwort mit den abgerufenen Quellen abgleichen, um eine Halluzination zu erkennen, prüfen, ob JSON einem Schema entspricht, oder toxischen Text blockieren. Prüfungen können einfache Regeln und reguläre Ausdrücke sein, kleine Klassifizierungsmodelle wie Llama Guard 4 oder ein zweiter LLM-Aufruf.
Das NeMo-Guardrails-Paper beschreibt Leitplanken als Weg, Modellausgaben zu steuern, etwa einem festgelegten Dialogpfad zu folgen oder schädliche Themen zu vermeiden, und trennt diese programmierbaren Leitplanken von der Sicherheit, die beim Training ins Modell eingebaut wird. Zu den Open-Source-Toolkits gehören NeMo Guardrails und Guardrails AI. Der Leitfaden zur Guardrails-Stufe vergleicht die Optionen.
Beispiel
Der Support-Bot einer Bank erhält eine Nachricht, die ihn auffordert, seine Anweisungen zu ignorieren und die Kontostände anderer Kunden aufzulisten. Eine Eingabe-Leitplanke erkennt das Injection-Muster und gibt eine feste Ablehnung zurück. Das Modell sieht die Anfrage nie.
Grenzen
Guardrails verringern das Risiko; sie beseitigen es nicht. Klassifizierer übersehen umformulierte Angriffe und blockieren auch harmlose Anfragen. Jede zusätzliche Prüfung bringt Latenz und Kosten. Behandle Guardrails als eine Schicht neben engen Agenten-Berechtigungen, Tests und Monitoring.
Verwandte Begriffe
- Prompt Injection
- Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.
- PII-Schwärzung
- PII-Schwärzung (PII Redaction) ist das Erkennen und Entfernen oder Maskieren personenbezogener Daten wie Namen, Telefonnummern, Adressen und Kartennummern in Texten oder Bildern, bevor sie an ein Modell geschickt, in Logs gespeichert oder anderen gezeigt werden.
- Halluzination (KI)
- Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
- Jailbreak (LLM)
- Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
- KI-Red-Teaming
- KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.