Was ist PyRIT?
PyRIT (Python Risk Identification Tool) ist das offene Framework von Microsoft, um Sicherheit und Schutz generativer KI-Systeme zu bewerten. Es besteht aus modularen Teilen: Targets (das System unter Test), Converter, die Angriffs-Prompts umwandeln, Scorer, die Antworten bewerten, und ein Gedächtnis, das jede Unterhaltung, jede Bewertung und jedes Ergebnis in SQLite oder Azure SQL speichert.
Laut Dokumentation führt es ab Werk Angriffe mit einer und mit mehreren Runden aus, darunter Crescendo, TAP (Tree of Attacks with Pruning) und Skeleton Key. Zu den Targets gehören Modelle von OpenAI, Azure, Anthropic, Google und Hugging Face, eigene HTTP- oder WebSocket-Endpunkte und Web-Apps, die über Playwright gesteuert werden. Scorer können wahr/falsch, Likert-Skala, Klassifikation oder eigene sein, angetrieben von einem LLM, Azure AI Content Safety oder eigenem Code. Ein Scenario-Framework führt Standardbewertungen zu schädlichen Inhalten, psychosozialen Risiken und Datenlecks über Hunderte von Zielen aus.
Es lässt sich als Python-Bibliothek nutzen, über die Kommandozeilenwerkzeuge pyrit_scan und pyrit_shell oder über CoPyRIT, eine lokale Weboberfläche für von Menschen geführtes Red Teaming. Das Repository ist von Azure/PyRIT nach microsoft/PyRIT umgezogen; es steht unter MIT-Lizenz, und Version 1.1.0 erschien am 4. September 2026.
Lohnt sich PyRIT?
PyRIT ist das Open-Source-Werkzeug der Wahl, wenn der Schwachpunkt eines Modells eine Unterhaltung ist und kein einzelner Prompt. Crescendo, TAP und Skeleton Key kommen als fertige Angriffe mit: Ein Angreifer-Modell lenkt den Dialog, und ein Scorer entscheidet, wann das Ziel nachgegeben hat. Die Probe-Bibliothek von garak deckt mehr Angriffe mit einem einzigen Prompt ab, passt sich aber nicht mitten in der Unterhaltung an, wie PyRIT es tut.
Das Design ist das eines Arbeitswerkzeugs für Red Teams. Targets, Converter und Scorer sind austauschbare Teile, und jede Unterhaltung, jede Bewertung und jedes Ergebnis landet in SQLite, Azure SQL oder im Arbeitsspeicher, sodass Befunde später mit einem anderen Bewerter neu bewertet werden können, ohne die Angriffe erneut auszuführen. CoPyRIT, gestartet mit pyrit_backend auf localhost:8000, ergänzt eine Browser-Oberfläche für manuelle Tests, und mit Playwright-Targets kann PyRIT ein echtes Web-Chat-Frontend angreifen statt nur eine API. Das Release 1.0 im Juli 2026, gefolgt von 1.0.1 und dann 1.1.0 am 4. September, gab den Schnittstellen nach 0.13 und 0.14 zu Jahresbeginn eine stabile Linie.
Der Preis sind Aufwand und Tokens. Endpunkte und Schlüssel liegen in ~/.pyrit/.env, Einstellungen für das Gedächtnis in ~/.pyrit/.pyrit_conf, und jede Runde eines Angriffs über mehrere Runden stellt dem Ziel, dem Angreifer-Modell und meist einem LLM-Scorer Aufrufe in Rechnung. Das Projekt veröffentlicht keine Schätzung der Tokens pro Szenario. LLM-Bewerter können falsch urteilen, Treffer brauchen also eine menschliche Durchsicht, bevor sie zu Fehlerberichten werden. Bewertungen mit Azure AI Content Safety und das Gedächtnis in Azure SQL begünstigen die Cloud von Microsoft, auch wenn beides nicht erforderlich ist.
Der Vergleich, den ein Käufer anstellen sollte, ist der mit promptfoo, nicht mit garak. promptfoo packt Red-Team-Tests in eine YAML-Datei, die ein Produktteam in der CI ausführt; PyRIT setzt eine eigens zuständige Person voraus, die Transkripte liest und Angriffe feinjustiert. Sie beantworten unterschiedliche Fragen, und ein Team, das jede Woche einen Chatbot ausliefert, braucht womöglich beide.
Wo es sich lohnt
Ein Leiter des KI-Red-Teams einer Bank, der einen Chatbot für Kunden vor dem Launch testet
Jailbreaks über mehrere Runden finden, die ein Scan mit einzelnen Prompts übersieht
Richte ein HTTP- oder Playwright-Target auf den Staging-Chat, führe Crescendo und TAP mit einem separaten Angreifer-Modell aus und bewahre jedes Transkript für den Bericht in SQLite auf. Die Software ist kostenlos; die Rechnung sind Modellaufrufe bei Ziel, Angreifer und Scorer, die das Projekt nicht schätzt.
Ein Security Engineer bei einem SaaS-Unternehmen, dessen LLM-Agent Kunden-E-Mails liest
Prüfen, ob in nicht vertrauenswürdigen Eingaben versteckte Anweisungen den Agenten Daten preisgeben lassen
Kodiere Angriffstexte mit Convertern und führe die Bewertungen zu Datenlecks aus dem Scenario-Framework gegen den Endpunkt des Agenten aus. LLM-Bewerter können falsch urteilen, prüfe also jeden Treffer von Hand, bevor du ihn meldest.
Ein Modellrisiko-Manager, der einem internen Prüfgremium KI-Red-Teaming nachweisen muss
Einen wiederholbaren Nachweis führen, was getestet wurde und was gescheitert ist
Das dauerhafte Gedächtnis speichert jede Unterhaltung, jede Bewertung und jedes Ergebnis, sodass sich dieselbe Bewertung nach einem Modell-Upgrade erneut ausführen und vergleichen lässt. Es kostet Arbeitszeit statt Lizenzen; es gibt weder eine kostenpflichtige Edition noch einen Supportvertrag mit dem Hersteller.
Bevor du dich festlegst
- Einrichtung
- pip install pyrit auf Python 3.10 bis 3.14 (die Dokumentation empfiehlt 3.13), dann die Endpunkt-Schlüssel in ~/.pyrit/.env eintragen. Eine GPU ist nur nötig, wenn du das Ziel- oder Angreifer-Modell selbst hostest; pyrit_scan führt ein mitgeliefertes Szenario wie airt.scam von der Kommandozeile aus.
- Integrationen
- Targets für Modelle von OpenAI, Azure, Anthropic, Google und Hugging Face, eigene HTTP- und WebSocket-Endpunkte und Browser-Frontends über Playwright. Scorer können ein LLM, Azure AI Content Safety oder eigener Code sein.
- Daten und Datenschutz
- Läuft lokal unter MIT; Prompts gehen nur an die Ziel-, Angreifer- und Scorer-Modelle, die du konfigurierst, und Ergebnisse liegen in SQLite, im Arbeitsspeicher oder, wenn du es wählst, in Azure SQL. Die Dokumentation erwähnt keine Telemetrie, und GitHub führt keine veröffentlichten Sicherheitshinweise; Schwachstellen gehen an das MSRC von Microsoft.
- Kosten im großen Maßstab
- Keine kostenpflichtige Edition. Die Kosten sind Modellaufrufe: Jede Runde eines Angriffs über mehrere Runden stellt drei Parteien Aufrufe in Rechnung, ein Szenario über Hunderte von Zielen vervielfacht also die Ausgaben, und Token-Zahlen pro Szenario sind nicht veröffentlicht.
- Grenzen
- 137 offene Issues und Pull Requests. Tests werden in Python und Dotfiles definiert statt in einer einzigen deklarativen Datei, die Nutzung in der CI kostet also mehr Arbeit als mit promptfoo; Bewertungen mit Content Safety brauchen eine Azure-Ressource.
Was gut ist
- Eingebaute Angriffe über mehrere Runden wie Crescendo und TAP
- Austauschbare Targets, Converter und Scorer
- Dauerhaftes Gedächtnis zum Teilen und Neubewerten von Ergebnissen
- Weboberfläche für von Menschen geführtes Red Teaming
Was nicht
- Braucht Python und echten Konfigurationsaufwand
- Angreifer- und Scorer-Modelle verbrauchen bei jedem Angriff eigene Tokens
- LLM-basierte Bewertungen brauchen menschliche Prüfung
- Einige Extras stützen sich auf Azure-Dienste
Am besten für
Security Engineers, die Chatbots und Agenten gründlich per Red Teaming prüfen müssen, einschließlich Eskalation über mehrere Runden und Web-Frontends.
Alternativen zu PyRIT
PyRIT: häufige Fragen
- Lohnt sich PyRIT?
- PyRIT automatisiert die langsamen, eskalierenden Unterhaltungen, an denen Chatbots zerbrechen, vorausgesetzt, jemand im Team schreibt das Python, das es steuert. Wir bewerten es mit 4.2 von 5.
- Was kostet PyRIT?
- Kostenlos und Open Source unter MIT. Bezahlt werden die Modellaufrufe, die Angriffe und LLM-basierte Scorer verursachen.
- Welche Nachteile hat PyRIT?
- Braucht Python und echten Konfigurationsaufwand; Angreifer- und Scorer-Modelle verbrauchen bei jedem Angriff eigene Tokens; LLM-basierte Bewertungen brauchen menschliche Prüfung; Einige Extras stützen sich auf Azure-Dienste.
- Für wen eignet sich PyRIT?
- Security Engineers, die Chatbots und Agenten gründlich per Red Teaming prüfen müssen, einschließlich Eskalation über mehrere Runden und Web-Frontends.
- Was kostet PyRIT für ein Team oder im Produktivbetrieb?
- Keine kostenpflichtige Edition. Die Kosten sind Modellaufrufe: Jede Runde eines Angriffs über mehrere Runden stellt drei Parteien Aufrufe in Rechnung, ein Szenario über Hunderte von Zielen vervielfacht also die Ausgaben, und Token-Zahlen pro Szenario sind nicht veröffentlicht.
- Ist PyRIT sicher für Firmendaten?
- Läuft lokal unter MIT; Prompts gehen nur an die Ziel-, Angreifer- und Scorer-Modelle, die du konfigurierst, und Ergebnisse liegen in SQLite, im Arbeitsspeicher oder, wenn du es wählst, in Azure SQL. Die Dokumentation erwähnt keine Telemetrie, und GitHub führt keine veröffentlichten Sicherheitshinweise; Schwachstellen gehen an das MSRC von Microsoft.
- Was sind die besten Alternativen zu PyRIT?
- Die nächsten Alternativen, die wir getestet haben, sind garak, DeepTeam und promptfoo.
Antworten geprüft am 26. Okt. 2026.