Qu’est-ce que CyberSecEval ?
CyberSecEval est l'ensemble de benchmarks de sécurité de Meta pour les modèles de langage, rangé dans le dossier CybersecurityBenchmarks du dépôt PurpleLlama. La version 4 s'appuie sur trois versions antérieures et couvre deux versants. Les tests de risque vérifient si un modèle écrit du code non sûr, aide à des attaques classées selon MITRE ATT&CK, refuse trop souvent des questions de sécurité anodines, suit des instructions injectées dans du texte ou des images, abuse d'un interpréteur de code, rédige du spear-phishing convaincant ou sait exploiter un programme vulnérable. Les tests défensifs, ajoutés dans la version 4, sont AutoPatchBench (un agent sait-il corriger des failles de sécurité dans du code natif) et CyberSOCEval, conçu avec CrowdStrike, qui évalue l'analyse de malware et le raisonnement sur le renseignement sur les menaces.
Il tourne sous Python 3.10 contre des modèles d'OpenAI, Google, Anthropic, Llama et Together, ou tout endpoint compatible OpenAI ; les modèles auto-hébergés demandent une petite classe d'adaptation. Plusieurs tests utilisent un second modèle comme juge, si bien qu'une exécution demande au moins deux séries d'appels d'API. Le code est sous licence MIT.
Certaines suites exigent une vraie infrastructure : le test offensif autonome demande un attaquant sous Kali Linux et une cible sous Windows Server 2022, et AutoPatchBench a été testé sur une AWS c7a.48xlarge avec environ 8 To de stockage.
CyberSecEval vaut-il le coup ?
CyberSecEval répond à une question plus étroite que promptfoo ou garak, et il y répond bien : avant de placer un modèle derrière votre produit, à quelle fréquence écrit-il du code vulnérable, aide-t-il un attaquant ou obéit-il à du texte injecté ? Ses tests de code non sûr sont notés par un détecteur statique et non par un modèle juge, ce qui rend ces résultats reproductibles, et le test de faux refus garde l'autre versant honnête en mesurant combien de fois un modèle rejette des questions de sécurité légitimes.
La version 4 ajoute le point de vue du défenseur. AutoPatchBench vérifie les correctifs par fuzzing et débogage différentiel, pas par l'avis d'un juge, et les questions à choix multiples de CyberSOCEval sur les malwares et le renseignement sur les menaces accordent un crédit partiel avec un score de Jaccard. C'est utile si vous choisissez un modèle pour une équipe d'opérations de sécurité, pas si vous en protégez un.
Les coûts sont inégaux. Les tests de texte sont des exécutions d'API peu coûteuses. AutoPatchBench ne l'est pas : le README suggère 80 CPU ou plus, environ 3 To de stockage pour les 142 cas complets, plus de 200 images de conteneur à la première exécution et jusqu'à environ 8 heures d'évaluation. Le test canary exploit ne prend en charge que x86-64, ce qui exclut les portables Apple Silicon.
Le hic : c'est un benchmark de modèles, pas de votre système. Il envoie ses propres prompts, pas votre prompt système, vos outils ni votre recherche documentaire, et le test MITRE recommande GPT-3.5 comme modèle juge et d'expansion. Les suites de code non sûr sont temporairement retirées de la liste par défaut, et le 12 juin 2025 l'équipe a indiqué qu'une prochaine version pourrait changer nettement l'infrastructure. Les filtres de contenu des fournisseurs peuvent aussi bloquer les prompts malveillants en cours d'exécution.
Notre avis : CyberSecEval a sa place à l'étape du choix du modèle, à côté de la fiche du fournisseur. Pour attaquer l'agent déployé, il faut toujours un outil qui vise votre vrai endpoint.
Là où il fait la différence
Un responsable ML qui compare trois modèles à poids ouverts pour un assistant de code interne
Savoir lequel écrit le moins de code vulnérable et résiste le mieux au texte injecté
Lancez les suites instruct, autocomplete et injection de prompt textuelle contre l'endpoint de chaque modèle, avec un modèle juge pour le test d'injection. Les coûts sont les appels d'API du modèle et du juge, et les résultats nourrissent la note de sélection.
Un responsable des opérations de sécurité qui évalue un LLM pour le tri des alertes
Vérifier si le modèle sait raisonner sur des rapports de malware et du renseignement sur les menaces
Ajoutez le sous-module de données de CrowdStrike et lancez les tests à choix multiples de CyberSOCEval ; les scores de correspondance exacte et de Jaccard permettent de comparer les candidats à armes égales.
Une équipe de recherche qui affine un modèle pour réparer des vulnérabilités
Mesurer si les correctifs règlent vraiment des failles de sécurité dans du code natif
Lancez AutoPatchBench lite (120 cas) sur une grosse instance cloud avec Podman ; les correctifs sont vérifiés par fuzzing et débogage différentiel. Prévoyez environ 2 To de stockage et une bonne partie de la journée.
Avant de vous engager
- Mise en route
- Clonez PurpleLlama, créez un environnement virtuel Python 3.10, pip3 install -r CybersecurityBenchmarks/requirements.txt, définissez DATASETS et passez les modèles sous la forme PROVIDER::MODEL::API_KEY. Les suites supplémentaires demandent git-lfs, Podman, poppler ou un cyber range sur AWS.
- Intégrations
- Fournisseurs intégrés : OpenAI, Google, Anthropic, Llama et Together ; URL de base personnalisées pour les serveurs compatibles OpenAI ; modèles auto-hébergés en étendant llm.py.
- Données et confidentialité
- Les prompts de test et les réponses partent vers les fournisseurs de modèle et de juge que vous configurez. Les filtres de sécurité de certains fournisseurs peuvent signaler les prompts malveillants ; le README conseille donc de faire approuver l'usage de l'API au préalable.
- Coût à grande échelle
- Les suites de texte coûtent les tokens du modèle testé plus ceux du juge. AutoPatchBench a été testé sur une c7a.48xlarge avec environ 8 To conseillés, soit une facture cloud conséquente à chaque exécution.
- Limites
- Suites de code non sûr temporairement retirées des valeurs par défaut ; les canary exploits exigent x86-64 ; autonomous uplift produit des transcriptions sans notation ; l'infrastructure peut changer à la prochaine version.
Les points forts
- Couvre code non sûr, injection, aide aux attaques, exploitation et faux refus
- Tests de code notés par un détecteur statique, pas seulement par un juge LLM
- AutoPatchBench et CyberSOCEval ajoutent des tâches défensives dans la version 4
- Licence MIT ; fonctionne avec les grandes API et les endpoints compatibles OpenAI
Les points faibles
- Teste le modèle nu, pas vos prompts, vos outils ni votre recherche documentaire
- AutoPatchBench exige une très grosse machine et des heures par exécution
- Suites de code non sûr temporairement retirées de la liste par défaut
- Test canary exploit limité à x86-64
Idéal pour
Les équipes qui choisissent ou affinent un modèle et ont besoin de preuves sur son comportement en sécurité avant la mise en production.
Alternatives à CyberSecEval
CyberSecEval : questions fréquentes
- CyberSecEval vaut-il le coup ?
- Le benchmark ouvert le plus large pour savoir si un modèle est un risque de sécurité, à utiliser comme contrôle au moment de choisir un modèle plutôt que comme test de votre application finie. Nous lui donnons 3.9 sur 5.
- Combien coûte CyberSecEval ?
- Gratuit sous licence MIT. Vous payez les appels aux modèles, y compris le modèle juge, et toute infrastructure de test, comme la grosse machine de compilation d'AutoPatchBench.
- Quels sont les inconvénients de CyberSecEval ?
- Teste le modèle nu, pas vos prompts, vos outils ni votre recherche documentaire; autoPatchBench exige une très grosse machine et des heures par exécution; suites de code non sûr temporairement retirées de la liste par défaut; test canary exploit limité à x86-64.
- À qui s’adresse CyberSecEval ?
- Les équipes qui choisissent ou affinent un modèle et ont besoin de preuves sur son comportement en sécurité avant la mise en production.
- Combien coûte CyberSecEval pour une équipe ou en production ?
- Les suites de texte coûtent les tokens du modèle testé plus ceux du juge. AutoPatchBench a été testé sur une c7a.48xlarge avec environ 8 To conseillés, soit une facture cloud conséquente à chaque exécution.
- CyberSecEval est-il sûr pour les données de l’entreprise ?
- Les prompts de test et les réponses partent vers les fournisseurs de modèle et de juge que vous configurez. Les filtres de sécurité de certains fournisseurs peuvent signaler les prompts malveillants ; le README conseille donc de faire approuver l'usage de l'API au préalable.
- Quelles sont les meilleures alternatives à CyberSecEval ?
- Les alternatives les plus proches que nous avons testées sont garak, promptfoo, PyRIT et Inspect.
Réponses vérifiées le 6 nov. 2026.