Schritt 19 von 22
Sicherheit und Red-Teaming
Dein eigenes System angreifen, bevor es jemand anders tut, und prüfen, was es ausliefert. KI-Apps schaffen neue Angriffsflächen: Prompt Injection, undichte Tools, vergiftete Abhängigkeiten und von KI geschriebenen Code. Teste sie wie jede andere Software.
Von Sheela · Geprüft am 19. Okt. 2026 · So testen wir
So triffst du die Wahl
- Red-Teaming von Prompts und Agenten vor dem Start und erneut nach jedem Modellwechsel.
- Prüfe Abhängigkeiten und von KI geschriebenen Code in derselben Pipeline wie den Rest deines Codes.
- Pinne Versionen von Gateways und SDKs; Supply-Chain-Angriffe haben beliebte KI-Pakete getroffen.
Worauf du achten solltest
Die Fragen, die die Optionen unterscheiden, nach Wichtigkeit geordnet.
01
Abdeckung, abgeglichen mit den OWASP Top 10 für LLMs
Die OWASP Top 10 for LLM Applications (Ausgabe 2025) sind die gängige Checkliste: Prompt Injection, Offenlegung sensibler Informationen, Lieferkette, Vergiftung von Daten und Modellen, unsachgemäße Behandlung von Ausgaben, übermäßige Handlungsfreiheit, Leck des System-Prompts, Schwächen bei Vektoren und Embeddings, Fehlinformation und unbegrenzter Verbrauch. Frag, welche Punkte ein Tool tatsächlich testet. DeepTeam bringt eine OWASP-Voreinstellung mit; garak deckt die Punkte auf Modellebene gut ab, aber nicht die übermäßige Handlungsfreiheit; kein einzelnes Tool deckt alle zehn ab.
02
Automatische und mehrstufige Erzeugung von Angriffen
Eine feste Liste bekannter Jailbreaks findet alte Schwächen; gegen dein System erzeugte Angriffe finden neue. Crescendo und TAP in PyRIT eskalieren über mehrere Züge, gesteuert von einem Angreifer-Modell, DeepTeam und promptfoo erzeugen Angriffe mit einem LLM, und garak führt eine große Bibliothek veröffentlichter Probes aus. Erzeugte Angriffe kosten auf beiden Seiten Tokens, plane also ein Budget dafür ein.
03
Risiken von Agenten und Tools, nicht nur des Modells
Sobald ein Modell Tools aufrufen kann, sind die gefährlichen Fehler übermäßige Handlungsfreiheit, kaputte Autorisierung und eingeschleuste Anweisungen in Tool-Ausgaben. Teste den bereitgestellten Agenten mit seinen echten Tools (die Prüfungen von DeepTeam auf BOLA, BFLA und Tool-Vergiftung, die Tests von promptfoo auf unsichere Tool-Nutzung, PyRIT gegen einen Live-Endpunkt) und prüfe die Berechtigungen, die jeder MCP-Server und jedes Tool bekommt; das Prinzip der geringsten Rechte zählt mehr als jeder Scanner.
04
Lieferkette: pinne und scanne, was du installierst
KI-Pakete sind inzwischen Ziele. Im März 2026 veröffentlichten Angreifer mit gestohlenen Zugangsdaten eines Maintainers zwei vergiftete Releases von LiteLLM auf PyPI. Pinne genaue Versionen und Hashes für Gateways und SDKs, aktualisiere bewusst und scanne Abhängigkeiten und von KI geschriebenen Code in derselben Pipeline wie den Rest deines Codes. Scanne auch MCP-Server und Agent Skills: Snyk Agent Scan prüft Tool-Beschreibungen und Skills auf Vergiftung und versteckte Anweisungen.
05
Integration in die CI und Wiederholbarkeit
Einmal vor dem Start Red-Teaming zu machen, reicht nicht; wiederhole es nach jeder Änderung an Modell, Prompt oder Tool. promptfoo ist mit YAML-Konfigurationen für die CI gebaut; garak und Snyk Agent Scan sind CLIs mit maschinenlesbarer Ausgabe, die du skripten kannst; PyRIT und DeepTeam sind Python-Bibliotheken, die du selbst einbindest. Lege einen festen Satz von Angriffen fest, damit Ergebnisse von Lauf zu Lauf vergleichbar sind.
06
Wie Befunde beurteilt werden
Die meisten Tools entscheiden über Bestehen oder Scheitern mit einem LLM-Bewerter oder einem Detektor, und beide machen Fehler. Prüfe, ob du hinter jedem Befund das vollständige Transkript sehen, das Bewertermodell wechseln und gespeicherte Ergebnisse neu bewerten kannst. PyRIT hält jedes Gespräch zur Neubewertung in einer Datenbank; garak schreibt ein JSONL-Log jedes Versuchs. Behandle ein markiertes Ergebnis als Spur, die zu bestätigen ist, nicht als bestätigte Schwachstelle.
07
Lizenz und Umgang mit Daten
Alle Red-Teaming-Tools hier sind Open Source (MIT oder Apache 2.0) und laufen lokal, wobei sie Angriffs-Traffic nur an das Modell schicken, auf das du sie richtest. Snyk Agent Scan ist die Ausnahme: Es schickt Tool-Beschreibungen und Inhalte von Skills zur Analyse an die API von Snyk. Die gehostete Plattform von Confident AI, eine optionale Ergänzung zu DeepTeam, speichert Ergebnisse beim Anbieter.
Wie sich die Optionen unterscheiden
Sicherheitstools für KI-Apps teilen sich danach auf, was sie angreifen. Schwachstellen-Scanner (garak) feuern eine große Bibliothek bekannter Angriffe auf einen Modell-Endpunkt und melden Fehlerquoten; sie sind schnell, wiederholbar und gut nach einem Modelltausch. Red-Teaming-Frameworks (PyRIT, DeepTeam, der Red-Team-Modus von promptfoo) erzeugen Angriffe gegen deine Anwendung, einschließlich mehrstufiger Eskalation und agentenspezifischem Missbrauch von Tools und Berechtigungen, und passen zu Prüfungen vor dem Start und zur CI. Evaluierungs-Harnesses mit Fokus auf Sicherheit (Inspect) lassen dich strenge eigene Evaluierungen des Agentenverhaltens in Sandboxes bauen. Lieferketten-Scanner (Snyk Agent Scan) prüfen die MCP-Server und Skills, denen deine Agenten vertrauen, statt des Modells.
Gateways wie LiteLLM tauchen auf dieser Stufe nur als etwas auf, das abzusichern ist: Pinne ihre Versionen und verfolge ihre Advisories. Sie sind keine Sicherheitstools und fehlen im Vergleich unten.
15 Tools im Vergleich
Sortiert nach unserer Bewertung. Öffne einen Testbericht für Quellen, Preise und das vollständige Fazit.
| Tool | Bewertung | Unser Fazit | Ideal für | Preis |
|---|---|---|---|---|
| promptfooRepo | 4.5/5 | promptfoo macht aus LLM-Regressionstests und Red-Team-Scans eine YAML-Datei und einen CI-Befehl; der neue Eigentümer ist der Teil, den man im Auge behalten sollte. | Teams, die LLM-Apps ausliefern und Regressionstests und Sicherheitsscans in der CI wollen. | CLI kostenlos und Open Source (MIT); die Community-Nutzung umfasst Red Teaming bis zu 10.000 Proben im Monat. Enterprise (verwaltete Cloud) und On-Premise auf Angebot. |
| InspectRepo | 4.4/5 | Inspect ist das gemeinsame Gerüst staatlicher und unabhängiger KI-Sicherheitstests; Produktteams, die Prompts in CI prüfen, finden darin mehr Framework, als sie brauchen. | Forschende und Sicherheitsteams, die Evaluierungen von Agenten und Fähigkeiten durchführen. | Kostenlos und Open Source unter der MIT-Lizenz. |
| Anthropic Sandbox Runtime (srt)Repo | 4.4/5 | Deinem Coding-Agenten lässt sich alles einreden; dem Betriebssystem nicht, und srt gibt dem Betriebssystem das Kommando. | Alle Entwickler, die einen Coding-Agenten auf dem eigenen Rechner laufen lassen, als erste Schutzschicht. | Kostenlos und Open Source unter Apache 2.0. |
| Trail of Bits SkillsRepo | 4.4/5 | Ein allgemeiner Prompt wie „prüfe auf OWASP-Probleme“ ist geraten; das hier ist aufgeschrieben, wie eine echte Audit-Firma nach Bugs sucht, für deinen Agenten. | Teams, die von ihrem Coding-Agenten vor riskanten Merges ein strukturiertes, glaubwürdiges Sicherheits-Review wollen. | Kostenlos unter CC BY-SA 4.0. |
| garakRepo | 4.3/5 | Der Standard unter den offenen Scannern für Schwächen auf Modellebene: vor dem Launch und nach jedem Modellwechsel laufen lassen, aber nicht mit einem Test der Tools und Berechtigungen deines Agenten verwechseln. | Teams, die vor dem Launch und nach jedem Modellwechsel einen wiederholbaren Schwachstellenscan eines LLM-Endpunkts auf Modellebene wollen. | Kostenlos und Open Source unter Apache 2.0. Du zahlst nur für die Modellaufrufe, die ein Scan auslöst. |
| PyRITRepo | 4.2/5 | PyRIT automatisiert die langsamen, eskalierenden Unterhaltungen, an denen Chatbots zerbrechen, vorausgesetzt, jemand im Team schreibt das Python, das es steuert. | Security Engineers, die Chatbots und Agenten gründlich per Red Teaming prüfen müssen, einschließlich Eskalation über mehrere Runden und Web-Frontends. | Kostenlos und Open Source unter MIT. Bezahlt werden die Modellaufrufe, die Angriffe und LLM-basierte Scorer verursachen. |
| security-guidance plugin (Claude Code)Repo | 4.2/5 | Für Nutzer von Claude Code ist das ein Sicherheitsgewinn mit einem einzigen Befehl, mit einem Reviewer, der nicht seine eigenen Hausaufgaben benotet. | Nutzer von Claude Code, die bei jeder Änderung ein Sicherheits-Review wollen, ohne etwas einzurichten. | Kostenloses Plugin unter Apache 2.0; die beiden modellgestützten Reviews verbrauchen deine Claude- oder API-Nutzung. |
| NVIDIA OpenShellRepo | 4.1/5 | Eine schwergewichtige Agenten-Sandbox für Agenten, die du unbeaufsichtigt laufen lässt, nicht für solche, denen du dabei zusiehst. | Teams, die Agenten unbeaufsichtigt oder mit nicht vertrauenswürdigem Code betreiben und Netzwerkregeln pro Host und pro Methode brauchen. | Kostenlos und Open Source unter Apache 2.0. |
| ToolHiveRepo | 4.1/5 | Scanner sagen dir, ob ein MCP-Server gefährlich aussieht; ToolHive begrenzt, was er anrichten kann, wenn er es ist. | Plattform- und Sicherheitsteams, die MCP-Server unternehmensweit betreiben, eindämmen und prüfen müssen. | Open Source unter Apache 2.0; Stacklok Enterprise bringt zusätzliche Funktionen und Support, Preise auf Anfrage. |
| OpenSandboxRepo | 4.1/5 | Eine selbst gehostete Antwort auf gehostete Code-Sandboxes, die den Aufwand mit Kubernetes lohnt, wenn du Tausende kurzlebige Agenten-Umgebungen auf eigenen Maschinen brauchst. | Plattform-Teams, die Agenten-Evaluierungen, RL-Rollouts oder mandantenfähige Code-Ausführung betreiben und Sandboxes auf eigener Infrastruktur wollen. | Kostenlos und Open Source unter Apache 2.0; keine kostenpflichtige Edition der Maintainer. |
| CC Safety NetRepo | 4.0/5 | Der Sicherheitsgurt für den Schaden, den eine Sandbox absichtlich zulässt: Force-Pushes, Hard Resets und rm -rf innerhalb deines eigenen Projekts. | Alle, die einen Coding-Agenten Shell-Befehle ausführen lassen, ohne jeden einzeln freizugeben. | Kostenlos und Open Source unter MIT. |
| DeepTeamRepo | 3.9/5 | Der breiteste Katalog an Agenten- und Anwendungsschwachstellen in einer offenen Red-Teaming-Bibliothek, doch jedes Urteil beruht auf einem LLM-Judge, den du überprüfen musst. | Python-Teams, die Agenten bauen und eine an OWASP ausgerichtete Red-Team-Abdeckung wollen, die sie lokal ausführen können. | Kostenlos und Open Source unter Apache 2.0. Die Plattform von Confident AI reicht von einer kostenlosen Stufe bis zu 200 $ und 2.000 $ im Monat; ihr Red-Teaming-Modul ist ein Enterprise-Zusatz mit individuellem Preis. |
| Cloudflare Security Audit SkillRepo | 3.9/5 | Das seltene KI-Audit-Tool, das seine eigenen Funde für falsch hält, bis ein anderer Agent sie nicht widerlegen kann. | Sicherheitsteams, die eine Codebasis prüfen und verifizierte Funde statt einer langen Liste von Vielleichts wollen. | Kostenlos unter MIT; Audits verbrauchen viele Modell-Tokens. |
| Snyk Agent ScanRepo | 3.8/5 | Eine vernünftige erste Prüfung der MCP-Server und Skills, denen deine Agenten vertrauen, sofern du akzeptierst, ihre Beschreibungen an Snyk zu schicken, und nicht vertrauenswürdige Konfigurationen in einer Sandbox scannst. | Teams, die Entwickler oder Agenten MCP-Server und Skills installieren lassen und vor dem Vertrauen eine Lieferkettenprüfung wollen. | Kostenlos und Open Source unter Apache 2.0; braucht ein Snyk-Konto und ein API-Token. Flottenweites Scannen im Hintergrund berichtet an Snyk Evo, Preis auf Anfrage. |
| Cisco Skill ScannerRepo | 3.7/5 | Lohnt sich vor deinem Skills-Repo, solange du seinen eigenen Zahlen glaubst: Er fängt das Offensichtliche, nicht alles. | Teams mit einem internen Skills-Repository, die eine Scan-Schranke wollen, bevor etwas bei Entwicklern ankommt. | Kostenlos unter Apache 2.0; optionale LLM- und Cloud-Analysen rechnen über ihre eigenen Anbieter ab. |
Im direkten Vergleich
Die Spezifikationen, die für diesen Schritt zählen. Geprüft am 19. Okt. 2026; prüf sie auf der Website des Anbieters, bevor du dich festlegst.
| Tool | Schwerpunkt | Erzeugung von Angriffen | Oberfläche | Eignung für CI | Lizenz |
|---|---|---|---|---|---|
| promptfoo | Red-Teaming und Regressionstests für Apps | Erzeugte Injection, Jailbreaks, Lecks | CLI + YAML | Für CI gebaut | MIT |
| Inspect | Evaluierungen von Agenten und Sicherheit | Du schreibst Tasks; Sammlung von Evals | Python | Nicht veröffentlicht | MIT |
| garak | Schwachstellen-Scan für Modelle und Endpunkte | Bibliothek veröffentlichter Probes | CLI | Skriptbar; JSONL-Bericht | Apache 2.0 |
| PyRIT | Mehrstufiges Red-Teaming | Crescendo, TAP, Skeleton Key | Python, CLI, Weboberfläche | Skriptbar über pyrit_scan | MIT |
| DeepTeam | Schwachstellen in Agenten und Apps | Mehr als 20 Methoden, von LLMs erzeugt | Python | Nicht dokumentiert | Apache 2.0 |
| Snyk Agent Scan | Lieferkette von MCP-Servern und Skills | Keine; scannt Tool-Beschreibungen | CLI (uvx oder Binary) | Ausgabe noch experimentell | Apache 2.0 |
Verbinde es mit deinem Agenten
MCP-Server, mit denen Assistenten wie Claude, ChatGPT und Cursor diese Tools direkt nutzen können.
Wo diese Stufe hingehört
- Mit deinen Dokumenten chatten: Wir würden mit promptfoo anfangen.
- Kundensupport-Agent: Wir würden mit promptfoo anfangen.
- Coding-Agent: Wir würden mit Snyk MCP Server (Snyk Studio), promptfoo anfangen.
- Assistent mit Langzeitgedächtnis: Wir würden mit promptfoo anfangen.
- Sprachagent: Wir würden mit promptfoo anfangen.
- Dokumentenverarbeitung: Wir würden mit Snyk MCP Server (Snyk Studio) anfangen.
- Dein eigenes feinabgestimmtes Modell: Wir würden mit promptfoo anfangen.