Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Guardrails (KI)

Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.

Auch: AI guardrails, rails

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein Modell, das auf Sicherheit trainiert ist, macht trotzdem Fehler, und es weiß nichts über die Regeln deines Produkts. Guardrails fügen in der Anwendung eine eigene Kontrollschicht hinzu. Sie laufen, bevor der Prompt das Modell erreicht, nachdem die Antwort zurückkommt, oder beides.

So funktioniert es

Eine Eingabe-Leitplanke kann einen Versuch der Prompt Injection erkennen, personenbezogene Daten per PII-Schwärzung entfernen oder ein Thema ablehnen, das das Produkt nicht behandeln soll. Eine Ausgabe-Leitplanke kann eine Antwort mit den abgerufenen Quellen abgleichen, um eine Halluzination zu erkennen, prüfen, ob JSON einem Schema entspricht, oder toxischen Text blockieren. Prüfungen können einfache Regeln und reguläre Ausdrücke sein, kleine Klassifizierungsmodelle wie Llama Guard 4 oder ein zweiter LLM-Aufruf.

Das NeMo-Guardrails-Paper beschreibt Leitplanken als Weg, Modellausgaben zu steuern, etwa einem festgelegten Dialogpfad zu folgen oder schädliche Themen zu vermeiden, und trennt diese programmierbaren Leitplanken von der Sicherheit, die beim Training ins Modell eingebaut wird. Zu den Open-Source-Toolkits gehören NeMo Guardrails und Guardrails AI. Der Leitfaden zur Guardrails-Stufe vergleicht die Optionen.

Beispiel

Der Support-Bot einer Bank erhält eine Nachricht, die ihn auffordert, seine Anweisungen zu ignorieren und die Kontostände anderer Kunden aufzulisten. Eine Eingabe-Leitplanke erkennt das Injection-Muster und gibt eine feste Ablehnung zurück. Das Modell sieht die Anfrage nie.

Grenzen

Guardrails verringern das Risiko; sie beseitigen es nicht. Klassifizierer übersehen umformulierte Angriffe und blockieren auch harmlose Anfragen. Jede zusätzliche Prüfung bringt Latenz und Kosten. Behandle Guardrails als eine Schicht neben engen Agenten-Berechtigungen, Tests und Monitoring.

Verwandte Begriffe

Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.
PII-Schwärzung
PII-Schwärzung (PII Redaction) ist das Erkennen und Entfernen oder Maskieren personenbezogener Daten wie Namen, Telefonnummern, Adressen und Kartennummern in Texten oder Bildern, bevor sie an ein Modell geschickt, in Logs gespeichert oder anderen gezeigt werden.
Halluzination (KI)
Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
Jailbreak (LLM)
Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
KI-Red-Teaming
KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.

Quellen