Was ist garak?
garak ist ein Kommandozeilen-Scanner, der prüft, ob sich ein Sprachmodell oder Chatsystem zu Fehlern bringen lässt, die du nicht willst. Seine 45 Probe-Module decken Prompt Injection, Jailbreaks wie die DAN-Familie, Encoding-Tricks, Datenabfluss, halluzinierte Pakete, Toxizität und Falschinformation ab. Detektoren bewerten dann jede Antwort, und garak meldet für jedes Paar aus Probe und Detektor eine Fehlerquote. Das Projekt vergleicht sich mit nmap und Metasploit, nur eben für LLMs.
Ziele können Hugging-Face-Modelle sein, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NVIDIA NIM, llama.cpp-Modelle, alles hinter LiteLLM und über eine kurze YAML-Datei fast jeder REST-Endpunkt. Jeder Lauf schreibt einen JSONL-Bericht mit jedem Versuch und seiner Bewertung; Release 0.17.1 hat diesem Bericht eine hit@k-Erfolgsquote für Angriffe hinzugefügt.
garak begann als unabhängiges Projekt und liegt heute in der GitHub-Organisation von NVIDIA. Es steht unter Apache 2.0, braucht Python 3.11 oder neuer und hatte 2026 sieben Releases, zuletzt 0.17.1 am 16. Oktober.
Lohnt sich garak?
garak ist das etablierteste offene Werkzeug, um herauszufinden, wie leicht sich ein Modell-Endpunkt in bekannte Fehlermuster drängen lässt, und seine Ausgabe ist von der Art, die ein Security-Review akzeptiert: eine Fehlerquote pro Probe und Detektor, belegt durch ein JSONL-Log jedes Versuchs. Die Angriffe stammen aus veröffentlichter Forschung, und die Pflege durch NVIDIA zeigt sich im Takt, mit Releases etwa monatlich im Jahr 2026 und rund 9.700 GitHub-Sternen.
Über die Voreinstellungen stolpern neue Nutzer. Ohne weitere Angaben führt garak jede Probe aus, schickt jeden Prompt fünfmal (generations: 5 in der Kernkonfiguration), begrenzt jede Probe weich auf 256 Prompts und stellt die Anfragen nacheinander. Nach unserer Rechnung aus dieser Konfiguration sind das bis zu 1.280 Aufrufe pro Probe und Zehntausende für einen vollständigen Lauf. Erst das Eingrenzen mit --spec, etwa auf probes.promptinject oder probes.dan, und das Einschalten paralleler Anfragen machen einen regelmäßigen Scan bezahlbar.
Die Breite der Ziele ist die größte Stärke. Bedrock, NIM, LiteLLM und generische REST-Endpunkte bedeuten, dass du die ausgerollte Anwendung scannen kannst statt nur das nackte Modell. Das zählt, weil der Systemprompt und etwaige Filter vor dem Modell das Ergebnis verändern.
Die Grenzen folgen aus dem Design. garak testet einen Text-Endpunkt; es bildet weder die Tools noch die Datenspeicher oder Berechtigungen deines Agenten ab, also brauchen übermäßige Handlungsfreiheit und Tool-Missbrauch (OWASP LLM06) PyRIT, DeepTeam oder die Agenten-Plugins von promptfoo. Die Dokumentation gilt noch als unfertig, und ein Treffer eines Detektors ist ein Hinweis, keine bestätigte Schwachstelle. Die Notes zu 0.17.1 nennen acht Korrekturen an Detektoren, darunter eine, nach der FileDetector eine nicht untersuchte Datei nicht mehr als bestanden wertet. Das erinnert daran, dass die Werte eines Scanners nur so gut sind wie seine Detektoren.
Wo es sich lohnt
Ein AppSec Engineer, der einen Chatbot für Kunden freigibt
Vor dem Launch zeigen, dass der ausgerollte Bot bekannten Jailbreaks widersteht
Den REST-Generator von garak mit einer kurzen YAML-Datei auf den Staging-Endpunkt richten und die Probes dan, promptinject und encoding laufen lassen. Der JSONL-Bericht liefert Fehlerquoten pro Probe für das Review; die Kosten sind Modellaufrufe, standardmäßig fünf pro Prompt.
Ein ML-Plattformteam, das von einem gehosteten Modell zu offenen Gewichten auf NVIDIA NIM wechselt
Prüfen, dass das neue Modell bei der Sicherheit nicht nachlässt
Denselben eingegrenzten Probe-Satz über die jeweiligen Generatoren gegen beide Modelle laufen lassen und die Fehlerquoten vergleichen. Abgesehen von der Inferenz kostenlos, wobei ein standardmäßiger Vollauf weit größer ist, als ein Vergleich braucht.
Eine Verantwortliche für Modellrisiken bei einer Bank, die sich auf ein KI-Audit vorbereitet
Einen wiederholbaren Red-Teaming-Prozess nachweisen
Einen festen garak-Probe-Satz bei jeder Änderung an Modell oder Systemprompt in CI einplanen und die Berichte archivieren. Das deckt nur Schwächen auf Modellebene ab; Tool-Missbrauch und übermäßige Handlungsfreiheit brauchen einen eigenen, agentenbewussten Test.
Bevor du dich festlegst
- Einrichtung
- python -m pip install -U garak (Python 3.11 oder neuer), den API-Schlüssel des Anbieters setzen und zum Beispiel garak --target_type openai --target_name <model> --spec probes.encoding ausführen. Lokale Hugging-Face-Ziele laufen auf deiner eigenen Hardware.
- Integrationen
- Generatoren für Hugging Face, OpenAI, Bedrock (Converse API), Replicate, Cohere, Groq, NVIDIA NIM, llama.cpp, LiteLLM, WebSocket und jeden REST-Endpunkt per YAML; JSONL-Berichte plus ein Skript analyse_log.py, das die Prompts mit den meisten Treffern auflistet.
- Daten und Datenschutz
- Prompts und Antworten gehen nur an das konfigurierte Ziel; Berichte und Logs bleiben lokal in garak_runs. Apache 2.0 erlaubt kommerzielle Nutzung, das README beschreibt keine Telemetrie, und es wurden keine GitHub Security Advisories veröffentlicht.
- Kosten im großen Maßstab
- Das Werkzeug ist kostenlos; die Ausgaben sind Inferenz. Fünf Generierungen und eine weiche Obergrenze von 256 Prompts pro Probe bedeuten bis zu 1.280 Aufrufe pro Probe, sodass ein nicht eingegrenzter Lauf über 45 Probe-Module Zehntausende Aufrufe erreichen kann.
- Grenzen
- Fokus auf Text an einem einzelnen Endpunkt, ohne Modell von Agenten-Tools oder Berechtigungen; Anfragen laufen nacheinander, solange parallel_requests nicht gesetzt ist; 287 offene Issues; die Genauigkeit der Detektoren wird noch von Release zu Release korrigiert.
Was gut ist
- 45 Probe-Module mit veröffentlichten Angriffen in einer CLI
- Scannt fast jeden Endpunkt, auch REST und LiteLLM
- Fehlerquoten pro Probe in einem JSONL-Bericht
- Apache 2.0 mit etwa monatlichen Releases
Was nicht
- Testet Text-Endpunkte, nicht Tools oder Berechtigungen von Agenten
- Standardmäßige Volläufe lösen Zehntausende Aufrufe aus
- Treffer der Detektoren müssen von Hand gesichtet werden
- Dokumentation noch lückenhaft
Am besten für
Teams, die vor dem Launch und nach jedem Modellwechsel einen wiederholbaren Schwachstellenscan eines LLM-Endpunkts auf Modellebene wollen.
Alternativen zu garak
garak: häufige Fragen
- Lohnt sich garak?
- Der Standard unter den offenen Scannern für Schwächen auf Modellebene: vor dem Launch und nach jedem Modellwechsel laufen lassen, aber nicht mit einem Test der Tools und Berechtigungen deines Agenten verwechseln. Wir bewerten es mit 4.3 von 5.
- Was kostet garak?
- Kostenlos und Open Source unter Apache 2.0. Du zahlst nur für die Modellaufrufe, die ein Scan auslöst.
- Welche Nachteile hat garak?
- Testet Text-Endpunkte, nicht Tools oder Berechtigungen von Agenten; Standardmäßige Volläufe lösen Zehntausende Aufrufe aus; Treffer der Detektoren müssen von Hand gesichtet werden; Dokumentation noch lückenhaft.
- Für wen eignet sich garak?
- Teams, die vor dem Launch und nach jedem Modellwechsel einen wiederholbaren Schwachstellenscan eines LLM-Endpunkts auf Modellebene wollen.
- Was kostet garak für ein Team oder im Produktivbetrieb?
- Das Werkzeug ist kostenlos; die Ausgaben sind Inferenz. Fünf Generierungen und eine weiche Obergrenze von 256 Prompts pro Probe bedeuten bis zu 1.280 Aufrufe pro Probe, sodass ein nicht eingegrenzter Lauf über 45 Probe-Module Zehntausende Aufrufe erreichen kann.
- Ist garak sicher für Firmendaten?
- Prompts und Antworten gehen nur an das konfigurierte Ziel; Berichte und Logs bleiben lokal in garak_runs. Apache 2.0 erlaubt kommerzielle Nutzung, das README beschreibt keine Telemetrie, und es wurden keine GitHub Security Advisories veröffentlicht.
- Was sind die besten Alternativen zu garak?
- Die nächsten Alternativen, die wir getestet haben, sind PyRIT, DeepTeam und promptfoo.
Antworten geprüft am 23. Okt. 2026.