O que é CyberSecEval?
CyberSecEval é o conjunto de benchmarks de segurança da Meta para modelos de linguagem, guardado na pasta CybersecurityBenchmarks do repositório PurpleLlama. A versão 4 se apoia em três versões anteriores e cobre dois lados. Os testes de risco perguntam se um modelo escreve código inseguro, ajuda em ataques mapeados no MITRE ATT&CK, recusa perguntas de segurança inofensivas com frequência demais, segue instruções injetadas em texto ou imagens, abusa de um interpretador de código, escreve spear-phishing convincente ou consegue explorar um programa vulnerável. Os testes defensivos, adicionados na versão 4, são o AutoPatchBench (um agente consegue corrigir falhas de segurança em código nativo) e o CyberSOCEval, criado com a CrowdStrike, que testa análise de malware e raciocínio sobre inteligência de ameaças.
Ele roda em Python 3.10 contra modelos da OpenAI, Google, Anthropic, Llama e Together, ou qualquer endpoint compatível com OpenAI; modelos auto-hospedados precisam de uma pequena classe adaptadora. Vários testes usam um segundo modelo como juiz, então uma execução exige pelo menos dois conjuntos de chamadas de API. O código tem licença MIT.
Alguns testes exigem infraestrutura real: o teste ofensivo autônomo precisa de um atacante com Kali Linux e um alvo com Windows Server 2022, e o AutoPatchBench foi testado numa AWS c7a.48xlarge com cerca de 8 TB de armazenamento.
CyberSecEval vale a pena?
O CyberSecEval responde a uma pergunta mais estreita que o promptfoo ou o garak, e responde bem: antes de colocar um modelo por trás do seu produto, com que frequência ele escreve código vulnerável, ajuda um atacante ou obedece a texto injetado? Os testes de código inseguro são pontuados por um detector estático e não por um modelo juiz, o que torna esses resultados repetíveis, e o teste de recusas falsas mantém o outro lado honesto ao medir quantas vezes um modelo recusa perguntas de segurança legítimas.
A versão 4 acrescenta o ponto de vista de quem defende. O AutoPatchBench verifica correções com fuzzing e depuração diferencial, não com a opinião de um juiz, e as perguntas de múltipla escolha do CyberSOCEval sobre malware e inteligência de ameaças dão crédito parcial com uma pontuação de Jaccard. Isso ajuda se você está escolhendo um modelo para uma equipe de operações de segurança, não protegendo um.
Os custos são desiguais. Os testes de texto são execuções baratas de API. O AutoPatchBench não: o README sugere 80 CPUs ou mais, cerca de 3 TB de armazenamento para os 142 casos completos, mais de 200 imagens de contêiner na primeira execução e até cerca de 8 horas de avaliação. O teste canary exploit só aceita x86-64, então notebooks com Apple Silicon ficam de fora.
O porém: é um benchmark de modelos, não do seu sistema. Ele envia os próprios prompts, não o seu prompt de sistema, suas ferramentas ou sua recuperação, e o teste MITRE recomenda o GPT-3.5 como modelo juiz e de expansão. Os testes de código inseguro estão temporariamente fora da lista padrão, e em 12 de junho de 2025 a equipe disse que uma próxima versão pode mudar bastante a infraestrutura. Os filtros de conteúdo dos provedores também podem bloquear os prompts maliciosos no meio da execução.
Nossa opinião: o CyberSecEval pertence à etapa de escolha do modelo, ao lado do model card do fornecedor. Para atacar o agente implantado, ainda é preciso uma ferramenta que ataque o seu endpoint real.
Onde ele se destaca
Um líder de ML comparando três modelos de pesos abertos para um assistente de programação interno
Descobrir qual escreve menos código vulnerável e resiste melhor a texto injetado
Rode os testes instruct, autocomplete e de injeção textual contra o endpoint de cada modelo, com um modelo juiz para o teste de injeção. Os custos são chamadas de API do modelo e do juiz, e os resultados alimentam o memorando de escolha.
Um gerente de operações de segurança avaliando um LLM para triagem de alertas
Verificar se o modelo consegue raciocinar sobre relatórios de malware e inteligência de ameaças
Adicione o submódulo de dados da CrowdStrike e rode os testes de múltipla escolha do CyberSOCEval; as pontuações de acerto exato e de Jaccard permitem comparar os candidatos em pé de igualdade.
Uma equipe de pesquisa ajustando um modelo para corrigir vulnerabilidades
Medir se as correções resolvem de fato falhas de segurança em código nativo
Rode o AutoPatchBench lite (120 casos) numa instância grande na nuvem com Podman; as correções são verificadas por fuzzing e depuração diferencial. Planeje cerca de 2 TB de armazenamento e boa parte de um dia.
Antes de decidir
- Configuração
- Clone o PurpleLlama, crie um ambiente virtual com Python 3.10, pip3 install -r CybersecurityBenchmarks/requirements.txt, defina DATASETS e passe os modelos como PROVIDER::MODEL::API_KEY. Testes extras precisam de git-lfs, Podman, poppler ou um cyber range na AWS.
- Integrações
- Provedores embutidos: OpenAI, Google, Anthropic, Llama e Together; URLs base personalizadas para servidores compatíveis com OpenAI; modelos auto-hospedados estendendo o llm.py.
- Dados e privacidade
- Os prompts de teste e as respostas vão para os provedores de modelo e de juiz que você configurar. Os filtros de segurança de alguns provedores podem sinalizar os prompts maliciosos, por isso o README recomenda obter aprovação do uso da API antes.
- Custo em escala
- Os testes de texto custam os tokens do modelo testado mais os do juiz. O AutoPatchBench foi testado numa c7a.48xlarge com cerca de 8 TB sugeridos, o que significa uma conta de nuvem considerável por execução.
- Limites
- Testes de código inseguro temporariamente fora do padrão; canary exploits exigem x86-64; autonomous uplift gera transcrições sem pontuação; a infraestrutura pode mudar na próxima versão.
O que é bom
- Cobre código inseguro, injeção, ajuda a ataques, exploração e recusas falsas
- Testes de código pontuados por um detector estático, não só por um juiz LLM
- AutoPatchBench e CyberSOCEval trazem tarefas defensivas na versão 4
- Licença MIT; funciona com as grandes APIs e endpoints compatíveis com OpenAI
O que não é
- Testa o modelo puro, não seus prompts, ferramentas ou recuperação
- O AutoPatchBench exige uma máquina muito grande e horas por execução
- Testes de código inseguro temporariamente fora da lista padrão
- Teste canary exploit só em x86-64
Ideal para
Equipes que escolhem ou ajustam um modelo e precisam de evidências sobre seu comportamento de segurança antes da produção.
Alternativas ao CyberSecEval
CyberSecEval: perguntas frequentes
- CyberSecEval vale a pena?
- O benchmark aberto mais amplo para saber se um modelo é um risco de segurança, melhor usado como filtro na escolha do modelo do que como teste do seu app pronto. Damos nota 3.9 de 5.
- Quanto custa CyberSecEval?
- Gratuito sob licença MIT. Você paga as chamadas ao modelo, incluindo o modelo juiz, e qualquer infraestrutura de teste, como a máquina grande de compilação do AutoPatchBench.
- Quais são as desvantagens de CyberSecEval?
- Testa o modelo puro, não seus prompts, ferramentas ou recuperação; o AutoPatchBench exige uma máquina muito grande e horas por execução; testes de código inseguro temporariamente fora da lista padrão; teste canary exploit só em x86-64.
- Para quem CyberSecEval é indicado?
- Equipes que escolhem ou ajustam um modelo e precisam de evidências sobre seu comportamento de segurança antes da produção.
- Quanto custa CyberSecEval para uma equipe ou em produção?
- Os testes de texto custam os tokens do modelo testado mais os do juiz. O AutoPatchBench foi testado numa c7a.48xlarge com cerca de 8 TB sugeridos, o que significa uma conta de nuvem considerável por execução.
- CyberSecEval é seguro para dados da empresa?
- Os prompts de teste e as respostas vão para os provedores de modelo e de juiz que você configurar. Os filtros de segurança de alguns provedores podem sinalizar os prompts maliciosos, por isso o README recomenda obter aprovação do uso da API antes.
- Quais são as melhores alternativas ao CyberSecEval?
- As alternativas mais próximas que analisamos são garak, promptfoo, PyRIT e Inspect.
Respostas verificadas em 6 de nov. de 2026.