¿Qué es CyberSecEval?
CyberSecEval es el conjunto de benchmarks de seguridad para modelos de lenguaje de Meta, guardado en la carpeta CybersecurityBenchmarks del repositorio PurpleLlama. La versión 4 se apoya en tres versiones anteriores y cubre dos frentes. Las pruebas de riesgo preguntan si un modelo escribe código inseguro, ayuda en ataques clasificados según MITRE ATT&CK, rechaza demasiadas preguntas de seguridad inofensivas, obedece instrucciones inyectadas en texto o imágenes, abusa de un intérprete de código, redacta spear-phishing convincente o sabe explotar un programa vulnerable. Las pruebas defensivas, añadidas en la versión 4, son AutoPatchBench (si un agente sabe parchear fallos de seguridad en código nativo) y CyberSOCEval, creado con CrowdStrike, que evalúa el análisis de malware y el razonamiento sobre inteligencia de amenazas.
Funciona con Python 3.10 contra modelos de OpenAI, Google, Anthropic, Llama y Together, o cualquier endpoint compatible con OpenAI; los modelos autoalojados necesitan una pequeña clase adaptadora. Varias pruebas usan un segundo modelo como juez, así que una ejecución necesita al menos dos conjuntos de llamadas a la API. El código tiene licencia MIT.
Algunas pruebas necesitan infraestructura real: la prueba ofensiva autónoma requiere un atacante con Kali Linux y un objetivo con Windows Server 2022, y AutoPatchBench se probó en una AWS c7a.48xlarge con unos 8 TB de almacenamiento.
¿Merece la pena CyberSecEval?
CyberSecEval responde a una pregunta más estrecha que promptfoo o garak, y la responde bien: antes de poner un modelo detrás de tu producto, ¿con qué frecuencia escribe código vulnerable, ayuda a un atacante u obedece texto inyectado? Sus pruebas de código inseguro las puntúa un detector estático y no un modelo juez, lo que hace esos resultados repetibles, y la prueba de falsos rechazos equilibra la balanza midiendo cuántas veces un modelo rechaza preguntas de seguridad legítimas.
La versión 4 añade el punto de vista del defensor. AutoPatchBench comprueba los parches con fuzzing y depuración diferencial, no con la opinión de un juez, y las preguntas de opción múltiple de CyberSOCEval sobre malware e inteligencia de amenazas dan crédito parcial con una puntuación de Jaccard. Sirven si eliges un modelo para un equipo de operaciones de seguridad, no si lo proteges.
Los costes son desiguales. Las pruebas de texto son ejecuciones baratas de API. AutoPatchBench no lo es: el README sugiere 80 CPU o más, unos 3 TB de almacenamiento para los 142 casos completos, más de 200 imágenes de contenedor en la primera ejecución y hasta unas 8 horas de evaluación. La prueba canary exploit solo admite x86-64, así que los portátiles con Apple Silicon quedan fuera.
La pega: es un benchmark de modelos, no de tu sistema. Envía sus propios prompts, no tu prompt de sistema, tus herramientas ni tu recuperación, y la prueba MITRE recomienda GPT-3.5 como modelo juez y de expansión. Las pruebas de código inseguro están retiradas temporalmente de la lista por defecto, y el 12 de junio de 2025 el equipo dijo que una próxima versión puede cambiar mucho la infraestructura. Los filtros de contenido de los proveedores también pueden bloquear los prompts maliciosos a mitad de ejecución.
Nuestra opinión: CyberSecEval encaja en el paso de selección del modelo, junto a la ficha técnica del proveedor. Para atacar al agente desplegado sigue haciendo falta una herramienta que ataque tu endpoint real.
Dónde se gana su sitio
Un responsable de ML que compara tres modelos de pesos abiertos para un asistente de programación interno
Averiguar cuál escribe menos código vulnerable y resiste mejor el texto inyectado
Ejecuta las pruebas instruct, autocomplete y de inyección textual contra el endpoint de cada modelo, con un modelo juez para la de inyección. Los costes son llamadas a la API del modelo y del juez, y los resultados alimentan el informe de selección.
Un responsable de operaciones de seguridad que evalúa un LLM para clasificar alertas
Comprobar si el modelo sabe razonar sobre informes de malware e inteligencia de amenazas
Añade el submódulo de datos de CrowdStrike y ejecuta las pruebas de opción múltiple de CyberSOCEval; las puntuaciones de acierto exacto y de Jaccard permiten comparar a los candidatos en igualdad de condiciones.
Un equipo de investigación que ajusta un modelo para reparar vulnerabilidades
Medir si los parches corrigen de verdad fallos de seguridad en código nativo
Ejecuta AutoPatchBench lite (120 casos) en una instancia grande en la nube con Podman; los parches se verifican con fuzzing y depuración diferencial. Prevé unos 2 TB de almacenamiento y buena parte de un día.
Antes de decidirte
- Puesta en marcha
- Clona PurpleLlama, crea un entorno virtual con Python 3.10, pip3 install -r CybersecurityBenchmarks/requirements.txt, define DATASETS y pasa los modelos como PROVIDER::MODEL::API_KEY. Algunas pruebas necesitan git-lfs, Podman, poppler o un cyber range en AWS.
- Integraciones
- Proveedores incluidos: OpenAI, Google, Anthropic, Llama y Together; URL base personalizadas para servidores compatibles con OpenAI; modelos autoalojados ampliando llm.py.
- Datos y privacidad
- Los prompts de prueba y las respuestas van a los proveedores de modelo y de juez que configures. Los filtros de seguridad de algunos proveedores pueden marcar los prompts maliciosos, así que el README aconseja que te aprueben antes el uso de la API.
- Coste a escala
- Las pruebas de texto cuestan los tokens del modelo evaluado más los del juez. AutoPatchBench se probó en una c7a.48xlarge con unos 8 TB sugeridos, lo que supone una factura de nube considerable por ejecución.
- Límites
- Pruebas de código inseguro retiradas temporalmente de la lista por defecto; canary exploit necesita x86-64; autonomous uplift produce transcripciones sin puntuación; la infraestructura puede cambiar en la próxima versión.
Lo bueno
- Cubre código inseguro, inyección, ayuda a ataques, explotación y falsos rechazos
- Las pruebas de código las puntúa un detector estático, no solo un juez LLM
- AutoPatchBench y CyberSOCEval añaden tareas defensivas en la versión 4
- Licencia MIT; funciona con las grandes API y endpoints compatibles con OpenAI
Lo malo
- Prueba el modelo desnudo, no tus prompts, herramientas ni recuperación
- AutoPatchBench necesita una máquina muy grande y horas por ejecución
- Las pruebas de código inseguro están retiradas temporalmente de la lista por defecto
- La prueba canary exploit solo funciona en x86-64
Ideal para
Equipos que eligen o ajustan un modelo y necesitan pruebas de su comportamiento de seguridad antes de que llegue a producción.
Alternativas a CyberSecEval
CyberSecEval: preguntas frecuentes
- ¿Merece la pena CyberSecEval?
- El benchmark abierto más amplio para saber si un modelo es un riesgo de seguridad, útil como filtro previo al elegir modelo y no como prueba de tu aplicación terminada. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta CyberSecEval?
- Gratis con licencia MIT. Pagas las llamadas al modelo, incluido el modelo juez, y cualquier infraestructura de pruebas, como la gran máquina de compilación de AutoPatchBench.
- ¿Qué inconvenientes tiene CyberSecEval?
- Prueba el modelo desnudo, no tus prompts, herramientas ni recuperación; autoPatchBench necesita una máquina muy grande y horas por ejecución; las pruebas de código inseguro están retiradas temporalmente de la lista por defecto; la prueba canary exploit solo funciona en x86-64.
- ¿Para quién es CyberSecEval?
- Equipos que eligen o ajustan un modelo y necesitan pruebas de su comportamiento de seguridad antes de que llegue a producción.
- ¿Cuánto cuesta CyberSecEval para un equipo o en producción?
- Las pruebas de texto cuestan los tokens del modelo evaluado más los del juez. AutoPatchBench se probó en una c7a.48xlarge con unos 8 TB sugeridos, lo que supone una factura de nube considerable por ejecución.
- ¿Es CyberSecEval seguro para los datos de la empresa?
- Los prompts de prueba y las respuestas van a los proveedores de modelo y de juez que configures. Los filtros de seguridad de algunos proveedores pueden marcar los prompts maliciosos, así que el README aconseja que te aprueben antes el uso de la API.
- ¿Cuáles son las mejores alternativas a CyberSecEval?
- Las alternativas más cercanas que hemos analizado son garak, promptfoo, PyRIT y Inspect.
Respuestas comprobadas el 6 nov 2026.