Was ist Giskard?
Giskard ist eine Open-Source-Bibliothek in Python zum Testen von LLM-Anwendungen und Agenten. Version 3 ist eine Neufassung, aufgeteilt in kleine Pakete: giskard-checks führt Szenariotests aus, bei denen ein Ziel (jede synchrone oder asynchrone Funktion) eine Folge von Eingaben erhält und der Verlauf mit Textvergleichen, regulären Ausdrücken, semantischer Ähnlichkeit oder LLM-Juroren wie Groundedness und Conformity geprüft wird; giskard-scan ergänzt einen Schwachstellen-Scan, der aus einer Beschreibung deines Agenten in Alltagssprache gegnerische Testsuiten erzeugt, und einen Qualitäts-Scan, der aus einer Wissensbasis RAG-Testfragen baut.
Der Scan deckt Prompt-Injection, schädliche Inhalte, Stereotype und Falschinformationen ab, zugeordnet zu den OWASP LLM Top 10, und bringt einen Datensatz mit Injection-Payloads mit. Er braucht Python 3.12 oder neuer und einen API-Schlüssel eines LLM-Anbieters für Juroren und Generatoren; das Standardmodell ist openai/gpt-4o-mini.
Das Repository Giskard-AI/giskard-oss hat rund 5.900 Sterne und steht unter Apache-2.0. Die Firma verkauft darauf eine Enterprise-Plattform für kontinuierliches Red Teaming, als On-Premises-, Private-Cloud- oder SaaS-Installation und ohne veröffentlichten Preis.
Lohnt sich Giskard?
Giskards Argument ist Breite in einer einzigen Abhängigkeit. Ein Team kann deterministische und von einem LLM bewertete Prüfungen für ein mehrstufiges Gespräch schreiben, aus eigenen Dokumenten einen RAG-Fragenkatalog erzeugen und einen gegnerischen Scan auf Prompt-Injection und schädliche Ausgaben laufen lassen, alles aus demselben Python-Paket. Promptfoo deckt ähnliches Terrain über eine YAML-zentrierte CLI ab; DeepEval und Ragas decken jeweils einen Ausschnitt ab.
Das Design von v3 ist vernünftig. Alles ist ein Ziel, ein Szenario, eine Prüfung und eine Suite, sodass ein direkter Modellaufruf, ein LangChain-Agent und ein HTTP-Endpunkt als Blackbox gleich getestet werden, und nur die installierten Pakete ziehen Abhängigkeiten nach. Der Schwachstellen-Scan schreibt seine Suite aus einer Beschreibung dessen, was der Agent tun und lassen soll, was schneller ist, als Angriffsprompts von Hand zu formulieren, und eigene Generatoren lassen sich neben den mitgelieferten registrieren.
Der Haken ist die Neufassung. v2 wird nicht mehr aktiv gepflegt, und ihr automatischer Scan für tabellarische und klassische ML-Modelle samt Hub-Anbindung ist für v3 nicht geplant. Projekte auf Basis von giskard.Model und giskard.Dataset stehen vor einer Migration, nicht vor einem Update. Python 3.12 ist die Untergrenze, was viele ältere Produktions-Images ausschließt.
Zwei Voreinstellungen verdienen Aufmerksamkeit. Jeder LLM-Juror und jeder Scan-Generator ruft einen kostenpflichtigen Anbieter auf, gpt-4o-mini, sofern nicht anders konfiguriert, sodass ein großer Scan eine Token-Rechnung hat und deine Testprompts an diesen Anbieter schickt. Anonyme Telemetrie ist standardmäßig an; laut README werden keine Prompts oder Ausgaben gesendet, und DO_NOT_TRACK=1 schaltet sie ab.
Für ein Team, dessen Frage lautet "Ist dieser Agent sicher und fundiert genug für den Start?", ist Giskard ein starker Open-Source-Ausgangspunkt; Teams, die CI-Dashboards und Verlauf brauchen, kombinieren es weiterhin mit einer Tracing-Plattform.
Wo es sich lohnt
Ein ML-Ingenieur, der bei einem Versicherer mit 60 Mitarbeitenden einen Kundenservice-Agenten startet
Vor dem Start prüfen, dass sich der Agent nicht zum Ausplaudern von Policendaten überreden lässt
Beschreibe die Rolle des Agenten und verbotene Aktionen, lass den Schwachstellen-Scan laufen und behalte die erzeugten Prompt-Injection-Szenarien als Regressionssuite. Kosten fallen für die LLM-Tokens der Generatoren und Juroren an.
Ein Plattform-Team mit einem RAG-Assistenten über interne Dokumentation
Messen, ob Antworten nach einer Neuindizierung fundiert bleiben
Richte quality_scan auf die Wissensbasis, um Fragen zu erzeugen, und lass bei jedem Neuaufbau des Index Groundedness-Prüfungen in der CI laufen; ein Rückgang zeigt sich als fehlschlagende Szenarien statt als Nutzerbeschwerden.
Bevor du dich festlegst
- Einrichtung
- pip install giskard für die Prüfungen oder giskard[scan] für die Scans, dazu ein Anbieter-Extra wie giskard[openai] und dessen API-Schlüssel; Python 3.12 oder neuer.
- Integrationen
- Umschließt jede synchrone oder asynchrone Funktion und funktioniert daher mit LangChain, LlamaIndex, direkten SDK-Aufrufen oder einem HTTP-Endpunkt; LLM-Aufrufe gehen über giskard-llm an jeden Anbieter; läuft unter pytest oder in Notebooks.
- Daten und Datenschutz
- Läuft lokal; Testprompts gehen an den LLM-Anbieter, den du für Juroren und Generatoren einstellst. Aggregierte Telemetrie ist standardmäßig an, ohne Prompts oder Ausgaben, und wird mit DO_NOT_TRACK=1 oder GISKARD_TELEMETRY_DISABLED=1 abgeschaltet.
- Kosten im großen Maßstab
- Die Bibliothek ist kostenlos; die laufenden Kosten sind Tokens für Juroren und Generatoren. Die Enterprise-Plattform mit kontinuierlichem Red Teaming und SSO hat keinen veröffentlichten Preis.
- Grenzen
- Der Scan für tabellarische und ML-Modelle aus v2 ist für v3 nicht geplant; die Preisseite nennt über 50 gegnerische Proben für die Enterprise-Plattform, nicht für die Bibliothek.
Was gut ist
- Szenariotests, RAG-Bewertung und Red-Teaming-Scan in einer Apache-2.0-Bibliothek
- Gegnerische Suiten aus einer Agentenbeschreibung in Alltagssprache erzeugt
- Zugeordnet zu den OWASP LLM Top 10, mit eingebautem Satz an Injection-Payloads
- Modulare Pakete halten die Abhängigkeiten klein
Was nicht
- v3 streicht den Scan für tabellarische und ML-Modelle; v2 wird nicht mehr aktiv gepflegt
- Erfordert Python 3.12 oder neuer
- Juroren und Scans rufen standardmäßig einen kostenpflichtigen LLM-Anbieter auf
- Telemetrie an, solange du sie nicht abschaltest
Am besten für
Python-Teams, die Szenariotests für Agenten und einen Red-Teaming-Scan vor dem Start aus einer einzigen Open-Source-Bibliothek wollen.
Alternativen zu Giskard
Giskard: häufige Fragen
- Lohnt sich Giskard?
- Giskard bündelt mehrstufige Agententests und einen an OWASP ausgerichteten Red-Teaming-Scan in einer Apache-2.0-Bibliothek, doch v3 ist jung und streicht den Scan für tabellarische Modelle, auf den sich v2-Nutzer verlassen haben. Wir bewerten es mit 4.0 von 5.
- Was kostet Giskard?
- Bibliothek kostenlos und Open Source (Apache-2.0). Enterprise-Plattform (kontinuierliches Red Teaming, SSO, RBAC, On-Premises oder SaaS) auf Anfrage.
- Welche Nachteile hat Giskard?
- v3 streicht den Scan für tabellarische und ML-Modelle; v2 wird nicht mehr aktiv gepflegt; Erfordert Python 3.12 oder neuer; Juroren und Scans rufen standardmäßig einen kostenpflichtigen LLM-Anbieter auf; Telemetrie an, solange du sie nicht abschaltest.
- Für wen eignet sich Giskard?
- Python-Teams, die Szenariotests für Agenten und einen Red-Teaming-Scan vor dem Start aus einer einzigen Open-Source-Bibliothek wollen.
- Was kostet Giskard für ein Team oder im Produktivbetrieb?
- Die Bibliothek ist kostenlos; die laufenden Kosten sind Tokens für Juroren und Generatoren. Die Enterprise-Plattform mit kontinuierlichem Red Teaming und SSO hat keinen veröffentlichten Preis.
- Ist Giskard sicher für Firmendaten?
- Läuft lokal; Testprompts gehen an den LLM-Anbieter, den du für Juroren und Generatoren einstellst. Aggregierte Telemetrie ist standardmäßig an, ohne Prompts oder Ausgaben, und wird mit DO_NOT_TRACK=1 oder GISKARD_TELEMETRY_DISABLED=1 abgeschaltet.
- Was sind die besten Alternativen zu Giskard?
- Die nächsten Alternativen, die wir getestet haben, sind promptfoo, DeepEval, DeepTeam und garak.
Antworten geprüft am 6. Nov. 2026.
Du entwickelst Giskard? Zeig diese Bewertung auf deiner Website
