Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-Red-Teaming

KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.

Auch: red team, red teaming

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Der Begriff stammt aus Militär- und Sicherheitsübungen, in denen ein Red Team den Angreifer spielt. Bei Sprachmodellen ist das Ziel das Verhalten: Lässt sich das System dazu bringen, gefährliche Anleitungen zu geben, Daten preiszugeben, Nutzer zu beleidigen oder eine Aktion auszuführen, die es nicht ausführen sollte?

So funktioniert es

Ganguli et al. beschrieben frühe Arbeiten zum Red-Teaming von Sprachmodellen, um schädliche Ausgaben zu entdecken, zu messen und zu verringern. Sie stellten fest, dass Modelle, die mit Reinforcement Learning from Human Feedback (RLHF) trainiert wurden, mit wachsender Größe schwerer zu red-teamen waren.

In der Praxis mischen Teams drei Ansätze. Menschliche Red Teamer, oft Fachleute, schreiben kreative Angriffe. Automatisierte Tools erzeugen viele Varianten bekannter Angriffe wie Jailbreaks und Prompt Injections und bewerten die Antworten. Open-Source-Optionen sind etwa garak, PyRIT und promptfoo. Die Ergebnisse fließen dann in Training, Guardrails oder Produktänderungen zurück.

Red-Teaming vs. Evaluation

Normale LLM-Evaluation fragt, wie gut das System seine Aufgabe bei typischen Eingaben erledigt. Red-Teaming fragt, wie es bei feindseligen Eingaben scheitert. Beides ist nötig, und gute Funde aus dem Red-Teaming werden oft zu dauerhaften Testfällen.

Grenzen

Ein Red Team kann zeigen, dass ein Problem existiert; es kann nicht beweisen, dass keines mehr übrig ist. Die Ergebnisse hängen vom Können und der Fantasie der Tester ab und davon, wie das Modell eingesetzt wird. Ein Test eines Basismodells sagt daher wenig über einen Agenten aus, der mit angeschlossenen Tools darauf aufbaut.

Verwandte Begriffe

Jailbreak (LLM)
Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.
Guardrails (KI)
Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.
KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.

Quellen