Was ist CyberSecEval?
CyberSecEval ist Metas Sammlung von Sicherheits-Benchmarks für Sprachmodelle und liegt im Ordner CybersecurityBenchmarks des Repositorys PurpleLlama. Version 4 baut auf drei früheren Versionen auf und deckt zwei Seiten ab. Die Risikotests fragen, ob ein Modell unsicheren Code schreibt, bei Angriffen nach MITRE ATT&CK hilft, harmlose Sicherheitsfragen zu oft ablehnt, eingeschleusten Anweisungen in Text oder Bildern folgt, einen Code-Interpreter missbraucht, überzeugendes Spear-Phishing schreibt oder ein verwundbares Programm ausnutzen kann. Die defensiven Tests, neu in Version 4, sind AutoPatchBench (kann ein Agent Sicherheitslücken in nativem Code patchen) und CyberSOCEval, gemeinsam mit CrowdStrike entwickelt, das Malware-Analyse und Schlussfolgern über Bedrohungsdaten prüft.
Es läuft unter Python 3.10 gegen Modelle von OpenAI, Google, Anthropic, Llama und Together oder jeden OpenAI-kompatiblen Endpunkt; selbst gehostete Modelle brauchen eine kleine Adapterklasse. Mehrere Tests nutzen ein zweites Modell als Richter, sodass ein Lauf mindestens zwei Sätze von API-Aufrufen braucht. Der Code steht unter MIT-Lizenz.
Manche Tests brauchen echte Infrastruktur: Der autonome Angriffstest verlangt einen Angreifer mit Kali Linux und ein Ziel mit Windows Server 2022, und AutoPatchBench wurde auf einer AWS c7a.48xlarge mit rund 8 TB Speicher getestet.
Lohnt sich CyberSecEval?
CyberSecEval beantwortet eine engere Frage als promptfoo oder garak, und zwar gut: Bevor du ein Modell hinter dein Produkt stellst, wie oft schreibt es verwundbaren Code, hilft einem Angreifer oder gehorcht eingeschleustem Text? Die Tests zu unsicherem Code bewertet ein statischer Detektor statt eines Richtermodells, was diese Ergebnisse wiederholbar macht, und der Test auf falsche Ablehnungen hält die Gegenseite ehrlich, indem er misst, wie oft ein Modell legitime Sicherheitsfragen abweist.
Version 4 ergänzt die Sicht der Verteidiger. AutoPatchBench prüft Patches mit Fuzzing und differenziellem Debugging statt mit dem Urteil eines Richters, und die Multiple-Choice-Fragen von CyberSOCEval zu Malware und Bedrohungsdaten vergeben Teilpunkte mit einem Jaccard-Wert. Das hilft, wenn du ein Modell für ein Security-Operations-Team auswählst, nicht wenn du eines absicherst.
Die Kosten sind ungleich verteilt. Texttests sind günstige API-Läufe. AutoPatchBench nicht: Das README empfiehlt 80 oder mehr CPUs, etwa 3 TB Speicher für alle 142 Fälle, mehr als 200 Container-Images beim ersten Lauf und bis zu etwa 8 Stunden Auswertung. Der Canary-Exploit-Test unterstützt nur x86-64, Laptops mit Apple Silicon fallen also weg.
Der Haken: Das ist ein Benchmark für Modelle, nicht für dein System. Er schickt eigene Prompts, nicht deinen Systemprompt, deine Tools oder dein Retrieval, und der MITRE-Test empfiehlt GPT-3.5 als Richter- und Erweiterungsmodell. Die Suiten zu unsicherem Code sind vorübergehend aus der Standardliste genommen, und am 12. Juni 2025 erklärte das Team, eine nächste Version könne die Infrastruktur stark verändern. Inhaltsfilter der Anbieter können die bösartigen Prompts zudem mitten im Lauf blockieren.
Unser Fazit: CyberSecEval gehört in den Schritt der Modellauswahl, neben die Model Card des Anbieters. Um den ausgerollten Agenten anzugreifen, braucht es weiterhin ein Werkzeug, das deinen echten Endpunkt angreift.
Wo es sich lohnt
Ein ML-Lead, der drei Open-Weight-Modelle für einen internen Coding-Assistenten vergleicht
Herausfinden, welches den wenigsten verwundbaren Code schreibt und eingeschleustem Text am besten widersteht
Lass die Suiten instruct, autocomplete und textuelle Prompt Injection gegen den Endpunkt jedes Modells laufen, mit einem Richtermodell für den Injection-Test. Kosten sind API-Aufrufe für Modell und Richter, die Ergebnisse fließen in die Auswahlnotiz.
Ein Leiter von Security Operations, der ein LLM für die Alarm-Triage prüft
Prüfen, ob das Modell über Malware-Berichte und Bedrohungsdaten schlussfolgern kann
Füge das Daten-Submodul von CrowdStrike hinzu und starte die Multiple-Choice-Tests von CyberSOCEval; Exact-Match- und Jaccard-Werte erlauben einen fairen Vergleich der Kandidaten.
Ein Forschungsteam, das ein Modell für die Reparatur von Schwachstellen feintunt
Messen, ob Patches Sicherheitslücken in nativem Code wirklich beheben
Starte AutoPatchBench lite (120 Fälle) auf einer großen Cloud-Instanz mit Podman; Patches werden per Fuzzing und differenziellem Debugging geprüft. Plane rund 2 TB Speicher und den größten Teil eines Tages ein.
Bevor du dich festlegst
- Einrichtung
- PurpleLlama klonen, eine virtuelle Umgebung mit Python 3.10 anlegen, pip3 install -r CybersecurityBenchmarks/requirements.txt, DATASETS setzen und Modelle als PROVIDER::MODEL::API_KEY übergeben. Zusätzliche Suiten brauchen git-lfs, Podman, poppler oder eine Cyber Range auf AWS.
- Integrationen
- Eingebaute Anbieter: OpenAI, Google, Anthropic, Llama und Together; eigene Basis-URLs für OpenAI-kompatible Server; selbst gehostete Modelle durch Erweitern von llm.py.
- Daten und Datenschutz
- Testprompts und Modellantworten gehen an die Modell- und Richteranbieter, die du einstellst. Die Sicherheitsfilter mancher Anbieter können die bösartigen Prompts markieren, daher rät das README, die API-Nutzung vorher freigeben zu lassen.
- Kosten im großen Maßstab
- Texttests kosten die Tokens des getesteten Modells plus die des Richters. AutoPatchBench wurde auf einer c7a.48xlarge mit empfohlenen rund 8 TB getestet, was pro Lauf eine spürbare Cloud-Rechnung bedeutet.
- Grenzen
- Suiten zu unsicherem Code vorübergehend aus den Standards entfernt; Canary Exploits brauchen x86-64; autonomous uplift liefert Protokolle ohne Bewertung; die Infrastruktur kann sich in der nächsten Version ändern.
Was gut ist
- Deckt unsicheren Code, Injection, Angriffshilfe, Exploits und falsche Ablehnungen ab
- Code-Tests von einem statischen Detektor bewertet, nicht nur von einem LLM-Richter
- AutoPatchBench und CyberSOCEval bringen in Version 4 defensive Aufgaben
- MIT-Lizenz; funktioniert mit großen APIs und OpenAI-kompatiblen Endpunkten
Was nicht
- Testet das nackte Modell, nicht deine Prompts, Tools oder dein Retrieval
- AutoPatchBench braucht eine sehr große Maschine und Stunden pro Lauf
- Suiten zu unsicherem Code vorübergehend aus der Standardliste entfernt
- Canary-Exploit-Test nur für x86-64
Am besten für
Teams, die ein Modell auswählen oder feintunen und vor dem Produktivbetrieb Belege für sein Sicherheitsverhalten brauchen.
Alternativen zu CyberSecEval
CyberSecEval: häufige Fragen
- Lohnt sich CyberSecEval?
- Der breiteste offene Benchmark für die Frage, ob ein Modell ein Sicherheitsrisiko ist, am besten als Prüfstein bei der Modellwahl statt als Test deiner fertigen App. Wir bewerten es mit 3.9 von 5.
- Was kostet CyberSecEval?
- Kostenlos unter MIT-Lizenz. Du zahlst die Modellaufrufe einschließlich des Richtermodells und jede Testinfrastruktur, etwa die große Build-Maschine für AutoPatchBench.
- Welche Nachteile hat CyberSecEval?
- Testet das nackte Modell, nicht deine Prompts, Tools oder dein Retrieval; AutoPatchBench braucht eine sehr große Maschine und Stunden pro Lauf; Suiten zu unsicherem Code vorübergehend aus der Standardliste entfernt; Canary-Exploit-Test nur für x86-64.
- Für wen eignet sich CyberSecEval?
- Teams, die ein Modell auswählen oder feintunen und vor dem Produktivbetrieb Belege für sein Sicherheitsverhalten brauchen.
- Was kostet CyberSecEval für ein Team oder im Produktivbetrieb?
- Texttests kosten die Tokens des getesteten Modells plus die des Richters. AutoPatchBench wurde auf einer c7a.48xlarge mit empfohlenen rund 8 TB getestet, was pro Lauf eine spürbare Cloud-Rechnung bedeutet.
- Ist CyberSecEval sicher für Firmendaten?
- Testprompts und Modellantworten gehen an die Modell- und Richteranbieter, die du einstellst. Die Sicherheitsfilter mancher Anbieter können die bösartigen Prompts markieren, daher rät das README, die API-Nutzung vorher freigeben zu lassen.
- Was sind die besten Alternativen zu CyberSecEval?
- Die nächsten Alternativen, die wir getestet haben, sind garak, promptfoo, PyRIT und Inspect.
Antworten geprüft am 6. Nov. 2026.