CyberSecEval의 개요
CyberSecEval은 언어 모델을 위한 Meta의 보안 벤치마크 모음으로, PurpleLlama 저장소의 CybersecurityBenchmarks 폴더에 있습니다. 버전 4는 이전 세 번의 릴리스를 바탕으로 두 측면을 다룹니다. 위험 테스트는 모델이 안전하지 않은 코드를 쓰는지, MITRE ATT&CK에 맞춘 공격을 돕는지, 무해한 보안 질문을 지나치게 거절하는지, 텍스트나 이미지에 주입된 지시를 따르는지, 코드 인터프리터를 악용하는지, 설득력 있는 스피어 피싱을 쓰는지, 취약한 프로그램을 악용할 수 있는지를 묻습니다. 버전 4에서 추가된 방어 테스트는 AutoPatchBench(에이전트가 네이티브 코드의 보안 결함을 패치할 수 있는지)와 CrowdStrike와 함께 만든 CyberSOCEval로, 후자는 악성코드 분석과 위협 인텔리전스 추론을 시험합니다.
Python 3.10에서 실행되며 OpenAI, Google, Anthropic, Llama, Together의 모델이나 OpenAI 호환 엔드포인트를 대상으로 합니다. 직접 호스팅하는 모델에는 작은 어댑터 클래스가 필요합니다. 여러 테스트가 두 번째 모델을 심판으로 쓰므로 한 번 실행에 최소 두 갈래의 API 호출이 듭니다. 코드는 MIT 라이선스입니다.
일부 테스트는 실제 인프라가 필요합니다. 자율 공격 테스트에는 Kali Linux 공격 호스트와 Windows Server 2022 대상 호스트가 필요하고, AutoPatchBench는 AWS c7a.48xlarge와 약 8 TB 스토리지에서 시험되었습니다.
CyberSecEval, 쓸 만한 가치가 있습니까?
CyberSecEval은 promptfoo나 garak보다 좁은 질문에 답하고, 그 답을 잘 냅니다. 제품 뒤에 모델을 두기 전에, 그 모 델이 얼마나 자주 취약한 코드를 쓰고, 공격자를 돕고, 주입된 텍스트에 따르는가 하는 질문입니다. 안전하지 않은 코드 테스트는 심판 모델이 아니라 정적 탐지기로 채점하므로 결과를 반복해 얻을 수 있고, 잘못된 거절 테스트는 모델이 정당한 보안 질문을 얼마나 거절하는지 재서 반대쪽 치우침도 놓치지 않습니다.
버전 4는 방어자의 시각을 더합니다. AutoPatchBench는 심판의 의견이 아니라 퍼징과 차등 디버깅으로 패치를 확인하고, 악성코드와 위협 인텔리전스에 관한 CyberSOCEval의 객관식 문제는 Jaccard 점수로 부분 점수를 줍니다. 모델을 지킬 때보다 보안 운영팀을 위한 모델을 고를 때 쓸모가 있습니다.
비용은 고르지 않습니다. 텍스트 테스트는 저렴한 API 실행입니다. AutoPatchBench는 다릅니다. README는 CPU 80개 이상, 전체 142건에 약 3 TB 스토리지를 권하고, 첫 실행에서 200개가 넘는 컨테이너 이미지를 만들며 평가에는 최대 약 8시간이 걸립니다. canary exploit 테스트는 x86-64만 지원하므로 Apple Silicon 노트북에서는 돌릴 수 없습니다.
주의할 점: 이것은 모델의 벤치마크이지 여러분의 시스템에 대한 벤치마크가 아닙니다. 자체 프롬프트를 보낼 뿐 여러분의 시스템 프롬프트, 도구, 검색은 쓰지 않으며, MITRE 테스트는 심판과 확장 모델로 GPT-3.5를 권합니다. 안전하지 않은 코드 테스트는 기본 목록에서 일시적으로 빠져 있고, 2025년 6월 12일 팀은 다음 버전에서 인프라가 크게 바뀔 수 있다고 밝혔습니다. 제공업체의 콘텐츠 필터가 실행 도중 악성 프롬프트를 막을 수도 있습니다.
결론: CyberSecEval은 모델을 고르는 단계에서 공급업체의 모델 카드 옆에 두고 쓰는 도구입니다. 배포된 에이전트를 레드팀으로 시험하려면 실제 엔 드포인트를 공격하는 도구가 따로 필요합니다.
제 역할을 하는 곳
사내 코딩 도우미용으로 오픈 웨이트 모델 세 개를 비교하는 ML 리드
취약한 코드를 가장 적게 쓰고 주입된 텍스트에 가장 강한 모델 찾기
각 모델의 엔드포인트에 instruct, autocomplete, 텍스트 프롬프트 인젝션 테스트를 돌리고, 인젝션 테스트에는 심판 모델을 씁니다. 비용은 모델과 심판의 API 호출이며 결과는 선정 메모에 들어갑니다.
경보 분류에 LLM을 검토하는 보안 운영 관리자
모델이 악성코드 보고서와 위협 인텔리전스를 두고 추론할 수 있는지 확인하기
CrowdStrike 데이터 서브모듈을 추가하고 CyberSOCEval의 객관식 테스트를 실행합니다. 정확 일치와 Jaccard 점수로 후보 모델을 같은 조건에서 비교할 수 있습니다.
취약점 수정을 위해 모델을 미세 조정하는 연구팀
패치가 네이티브 코드의 보안 결함을 실제로 고치는지 측정하기
대형 클라우드 인스턴스에서 Podman으로 AutoPatchBench lite(120건)를 실행합니다. 패치는 퍼징과 차등 디버깅으로 검증됩니다. 약 2 TB 스토리지와 하루 대부분을 잡아 두세요.
도입 전 확인할 점
- 설정
- PurpleLlama를 클론하고 Python 3.10 가상 환경을 만든 뒤 pip3 install -r CybersecurityBenchmarks/requirements.txt를 실행하고, DATASETS를 설정해 모델을 PROVIDER::MODEL::API_KEY 형식으로 넘깁니다. 추가 테스트에는 git-lfs, Podman, poppler 또는 AWS 사이버 레인지가 필요합니다.
- 연동
- 기본 제공업체: OpenAI, Google, Anthropic, Llama, Together. OpenAI 호환 서버용 사용자 정의 기본 URL, llm.py 확장을 통한 자체 호스팅 모델 지원.
- 데이터와 개인정보
- 테스트 프롬프트와 모델 답변은 설정한 모델 및 심판 제공업체로 갑니다. 일부 제공업체의 안전 필터가 악성 프롬프트를 표시할 수 있어 README는 API 사용 승인을 미리 받으라고 권합니다.
- 대규모 사용 시 비용
- 텍스트 테스트는 시험 대상 모델과 심판의 토큰 비용이 듭니다. AutoPatchBench는 c7a.48xlarge와 권장 약 8 TB로 시험되었으므로 실행마다 상당한 클라우드 비용이 나옵니다.
- 제한
- 안전하지 않은 코드 테스트는 기본값 에서 일시 제외, canary exploit는 x86-64 필요, autonomous uplift는 채점 없이 기록만 생성, 다음 버전에서 인프라가 바뀔 수 있음.
좋은 점
- 안전하지 않은 코드, 인젝션, 공격 지원, 악용, 잘못된 거절을 모두 다룸
- 코드 테스트는 LLM 심판만이 아니라 정적 탐지기로 채점
- 버전 4에서 AutoPatchBench와 CyberSOCEval로 방어 과제 추가
- MIT 라이선스, 주요 API와 OpenAI 호환 엔드포인트 지원
아쉬운 점
- 프롬프트, 도구, 검색이 빠진 순수 모델만 시험
- AutoPatchBench는 매우 큰 머신과 실행당 몇 시간이 필요
- 안전하지 않은 코드 테스트가 기본 목록에서 일시 제외
- canary exploit 테스트는 x86-64 전용
추천 대상
모델을 고르거나 미세 조정하면서, 운영에 들어가기 전에 보안 동작에 대한 근거가 필요한 팀.
CyberSecEval 대안
CyberSecEval: 자주 묻는 질문
- CyberSecEval, 쓸 만한 가치가 있습니까?
- 모델이 보안상 부담인지 묻는 가장 폭넓은 공개 벤치마크로, 완성된 앱을 시험하기보다는 모델을 고르기 전의 관문으로 쓸 때 가장 좋습니다. 평점은 5점 만점에 3.9점입니다.
- CyberSecEval의 가격은 얼마입니까?
- MIT 라이선스로 무료입니다. 심판 모델을 포함한 모델 호출 비용과 AutoPatchBench용 대형 빌드 머신 같은 테스트 인프라 비용은 직접 냅니다.
- CyberSecEval의 단점은 무엇입니까?
- 프롬프트, 도구, 검색이 빠진 순수 모델만 시험; AutoPatchBench는 매우 큰 머신과 실행당 몇 시간이 필요; 안전하지 않은 코드 테스트가 기본 목록에서 일시 제외; canary exploit 테스트는 x86-64 전용.
- CyberSecEval에 적합한 사람은 누구입니까?
- 모델을 고르거나 미세 조정하면서, 운영에 들어가기 전에 보안 동작에 대한 근거가 필요한 팀.
- 팀이나 프로덕션 환경에서 CyberSecEval의 비용은 얼마입니까?
- 텍스트 테스트는 시험 대상 모델과 심판의 토큰 비용이 듭니다. AutoPatchBench는 c7a.48xlarge와 권장 약 8 TB로 시험되었으므로 실행마다 상당한 클라우드 비용이 나옵니다.
- CyberSecEval에 회사 데이터를 맡겨도 안전합니까?
- 테스트 프롬프트와 모델 답변은 설정한 모델 및 심판 제공업체로 갑니다. 일부 제공업체의 안전 필터가 악성 프롬프트를 표시할 수 있어 README는 API 사용 승인을 미리 받으라고 권합니다.
- CyberSecEval의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 garak, promptfoo, PyRIT 및 Inspect입니다.
답변 확인일: 2026년 11월 6일.