Was ist DeepTeam?
DeepTeam ist ein Open-Source-Framework in Python von Confident AI, der Firma hinter DeepEval, für das Red-Teaming von LLM-Systemen. Es simuliert Angriffe wie Jailbreaks, Prompt Injection, Verschleierung durch Kodierung und Ausnutzung über mehrere Gesprächsrunden und vergibt dann mit LLM-as-Judge-Metriken für jeden Test ein Bestanden oder Durchgefallen samt Begründung.
Die README führt mehr als 50 Schwachstellen und mehr als 20 Angriffsmethoden auf. Neben dem Abfluss personenbezogener Daten, dem Abfluss von Prompts, Bias und Toxizität deckt es Klassen der Anwendungssicherheit ab, etwa fehlerhafte Autorisierung auf Funktions- und Objektebene, SQL- und Shell-Injection und Server-Side Request Forgery, sowie agentenspezifische wie übermäßige Handlungsbefugnis, indirekte Anweisungen in abgerufenen Inhalten, Vergiftung von Tool-Metadaten und Täuschung zwischen Agenten. Presets ordnen OWASP Top 10 for LLMs 2025, OWASP Top 10 for Agents 2026, NIST AI RMF, MITRE ATLAS, BeaverTails und Aegis den passenden Tests zu, und es liefert sieben Guardrails für die Laufzeit mit.
Es läuft lokal aus Python oder über eine per YAML gesteuerte CLI und steht unter Apache 2.0. Version 1.0.10 erschien am 16. Oktober 2026 auf PyPI; die Release-Seite auf GitHub endet bei v1.0.9. Die gehostete Plattform von Confident AI verkauft Speicherung und Berichte, Red-Teaming ist dort ein Enterprise-Zusatzmodul.
Lohnt sich DeepTeam?
Die Stärke von DeepTeam ist die Abdeckung der Risiken, die zählen, sobald ein Modell Werkzeuge hat. Die Schwachstellenliste liest sich wie eine Checkliste zur Anwendungssicherheit, übersetzt für Agenten: Umgehung der Autorisierung, SQL- und Shell-Injection, SSRF, Vergiftung von Tool-Metadaten und in abgerufenen Dokumenten versteckte Anweisungen. Sechs Framework-Presets, darunter die OWASP-Liste für Agenten von 2026, geben einem Team mit einem einzigen Aufruf eine belastbare Grundlage, wenn ein Security Review fragt, was getestet wurde.
Die Schwäche ist der Judge. Ein LLM erzeugt die Angriffe, ein anderes entscheidet über Bestanden oder Durchgefallen. Die Ergebnisse verschieben sich also mit dem Judge-Modell, jeder Lauf kostet Tokens auf deinem OpenAI-Schlüssel oder bei welchem Modell auch immer du konfigurierst, und sowohl Fehlalarme als auch übersehene Fälle sind zu erwarten. Die regelbasierten Detektoren von garak und die Scorer-Optionen von PyRIT geben mehr Kontrolle über diesen Schritt.
Zwei Voreinstellungen verdienen Aufmerksamkeit. Telemetrie ist an, solange du nicht DEEPTEAM_TELEMETRY_OPT_OUT=YES setzt (und DEEPEVAL_TELEMETRY_OPT_OUT=YES für die zugrunde liegende Bibliothek): Der Code initialisiert Sentry und PostHog und fragt deine öffentliche IP-Adresse über ipify ab. Laut Datenschutzseite werden nur die Namen der ausgeführten Schwachstellen und Nutzungszahlen gesendet, keine Prompts. Zweitens wurde die Release-Seite auf GitHub zuletzt im November 2025 aktualisiert, während PyPI bei 1.0.10 angekommen ist, die Changelogs sind also dünn.
Das Geschäftsmodell ist sichtbar. Die kostenlose Bibliothek schickt dich zum Speichern von Ergebnissen zu Confident AI, und auf deren Preisseite steckt Red-Teaming weder im Plan Starter für 200 $ noch im Plan Team für 2.000 $, sondern ist ein Modul "Enterprise ++" zu individuellen Preisen. Ein Team, das geplante Assessments und geteilte Berichte ohne diesen Vertrag will, baut am Ende seine eigene Verbindung von JSON zum Dashboard, und genau die verschenkt promptfoo in seiner Open-Source-CLI.
Wo es sich lohnt
Ein Security Engineer bei einem Fintech, das einen Support-Agenten mit Werkzeugen für Erstattungen und Konten ausliefert
Dem Audit-Team zeigen, dass der Agent vor dem Start gegen OWASP getestet wurde
Kapsle den Agenten in einen asynchronen model_callback und führe red_team mit dem Framework OWASP_ASI_2026 aus; exportiere die Risikobewertung als JSON für das Review. Plane Tokens für das Judge-Modell pro Lauf ein und lass jeden Fehlschlag von einem Menschen bestätigen.
Ein ML-Plattformteam, das nächtliche Prüfungen für einen RAG-Chatbot fährt
Rückschritte bei der Abwehr von Prompt Injection und dem Abfluss personenbezogener Daten nach Prompt-Änderungen erkennen
Pflege eine YAML-Konfiguration mit ausgewählten Schwachstellen und Angriffen und führe die CLI in der CI aus. Setze im Runner die beiden Variablen zum Abschalten der Telemetrie und fixiere das Judge-Modell, damit die Bestehensquoten von Nacht zu Nacht vergleichbar sind.
Ein CISO bei einem Versicherer mit 500 Leuten, der Optionen für Red-Teaming vergleicht
Zwischen Open-Source-Werkzeugen und einem verwalteten Red-Teaming-Dienst entscheiden
DeepTeam selbst ist kostenlos, aber Confident AI verkauft gehostetes Red-Teaming nur als Enterprise-Zusatz mit individuellem Preis. Stelle das der Arbeitszeit gegenüber, die nötig ist, um die Bibliothek zu betreiben und Befunde des LLM-Judges von Hand zu sichten.
Bevor du dich festlegst
- Einrichtung
- pip install -U deepteam unter Python 3.9 bis 3.13, OPENAI_API_KEY setzen oder ein anderes Judge-Modell konfigurieren, einen model_callback schreiben; ein erster Lauf mit einer einzelnen Schwachstelle dauert Minuten.
- Integrationen
- Baut auf DeepEval auf; jedes von DeepEval unterstützte Modell als Angreifer und Judge; CLI mit YAML-Konfigurationen; GitHub-Bot zum Code-Scanning in der Dokumentation; Ergebnisse lassen sich zu Confident AI schieben.
- Daten und Datenschutz
- Prompts gehen an die Angreifer- und Judge-Modelle, die du konfigurierst. Telemetrie über Sentry und PostHog mit Abfrage der öffentlichen IP ist standardmäßig an; abschalten mit DEEPTEAM_TELEMETRY_OPT_OUT=YES und DEEPEVAL_TELEMETRY_OPT_OUT=YES. Keine Security Advisories auf GitHub veröffentlicht.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; jeder Lauf kostet Angreifer- und Judge-Tokens, die mit Schwachstellen x Angriffen x Runden wachsen. Confident AI: Free (2 Plätze, 5 Testläufe pro Woche), Starter 200 $ im Monat, Team 2.000 $ im Monat mit SOC 2 und SSO; Red-Teaming ist ein Enterprise-Zusatz.
- Grenzen
- 80 offene Issues und Pull Requests; Judges streuen zwischen Modellen; Angriffe über mehrere Runden vervielfachen den Token-Verbrauch; die Releases auf GitHub enden bei v1.0.9 vom November 2025.
Was gut ist
- Breite Abdeckung von Agenten- und Anwendungsschwachstellen
- Presets für OWASP, NIST und MITRE ATLAS
- Python-API und per YAML gesteuerte CLI, beide lokal
- Apache 2.0 mit häufigen Releases auf PyPI
Was nicht
- Bestanden oder Durchgefallen hängt von einem LLM-Judge ab
- Telemetrie standardmäßig an, einschließlich Abfrage der öffentlichen IP
- Das gehostete Red-Teaming-Modul gibt es nur bei Enterprise
- Release Notes auf GitHub hinken PyPI um ein Jahr hinterher
Am besten für
Python-Teams, die Agenten bauen und eine an OWASP ausgerichtete Red-Team-Abdeckung wollen, die sie lokal ausführen können.
Alternativen zu DeepTeam
DeepTeam: häufige Fragen
- Lohnt sich DeepTeam?
- Der breiteste Katalog an Agenten- und Anwendungsschwachstellen in einer offenen Red-Teaming-Bibliothek, doch jedes Urteil beruht auf einem LLM-Judge, den du überprüfen musst. Wir bewerten es mit 3.9 von 5.
- Was kostet DeepTeam?
- Kostenlos und Open Source unter Apache 2.0. Die Plattform von Confident AI reicht von einer kostenlosen Stufe bis zu 200 $ und 2.000 $ im Monat; ihr Red-Teaming-Modul ist ein Enterprise-Zusatz mit individuellem Preis.
- Welche Nachteile hat DeepTeam?
- Bestanden oder Durchgefallen hängt von einem LLM-Judge ab; Telemetrie standardmäßig an, einschließlich Abfrage der öffentlichen IP; Das gehostete Red-Teaming-Modul gibt es nur bei Enterprise; Release Notes auf GitHub hinken PyPI um ein Jahr hinterher.
- Für wen eignet sich DeepTeam?
- Python-Teams, die Agenten bauen und eine an OWASP ausgerichtete Red-Team-Abdeckung wollen, die sie lokal ausführen können.
- Was kostet DeepTeam für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; jeder Lauf kostet Angreifer- und Judge-Tokens, die mit Schwachstellen x Angriffen x Runden wachsen. Confident AI: Free (2 Plätze, 5 Testläufe pro Woche), Starter 200 $ im Monat, Team 2.000 $ im Monat mit SOC 2 und SSO; Red-Teaming ist ein Enterprise-Zusatz.
- Ist DeepTeam sicher für Firmendaten?
- Prompts gehen an die Angreifer- und Judge-Modelle, die du konfigurierst. Telemetrie über Sentry und PostHog mit Abfrage der öffentlichen IP ist standardmäßig an; abschalten mit DEEPTEAM_TELEMETRY_OPT_OUT=YES und DEEPEVAL_TELEMETRY_OPT_OUT=YES. Keine Security Advisories auf GitHub veröffentlicht.
- Was sind die besten Alternativen zu DeepTeam?
- Die nächsten Alternativen, die wir getestet haben, sind promptfoo, PyRIT und garak.
Antworten geprüft am 23. Okt. 2026.