garak의 개요
garak은 언어 모델이나 채팅 시스템이 원치 않는 방식으로 실패하도록 만들 수 있는지 검사하는 명령줄 스캐너입니다. 프로브 모듈 45개가 프롬프트 인젝션, DAN 계열 같은 탈옥, 인코딩 기법, 데이터 유출, 패키지 환각, 유해성, 허위 정보를 다룹니다. 그다음 탐지기가 각 응답을 판정하고, garak은 프로브와 탐지기 조합마다 실패율을 보고합니다. 프로젝트는 스스로를 LLM용 nmap이자 Metasploit에 비유합니다.
Hugging Face 모델, OpenAI, AWS Bedrock, Replicate, Cohere, Groq, NVIDIA NIM, llama.cpp 모델, LiteLLM 뒤의 모든 것, 그리고 짧은 YAML 파일로 거의 모든 REST 엔드포인트를 대상으로 삼을 수 있습니다. 실행할 때마다 각 시도와 그 평가가 담긴 JSONL 보고서를 씁니다. 0.17.1 릴리스는 이 보고서에 hit@k 공격 성공률을 추가했습니다.
garak은 독립 프로젝트로 시작했고 지금은 NVIDIA의 GitHub 조직에 있습니다. Apache 2.0 라이선스이며 Python 3.11 이상이 필요합니다. 2026년에 릴리스가 일곱 번 있었고, 최신은 10월 16일의 0.17.1입니다.
garak, 쓸 만한 가치가 있습니까?
garak은 모델 엔드포인트가 알려진 실패 유형에 얼마나 쉽게 빠지는지 알아보는 가장 자리 잡은 오픈 도구입니다. 출력도 보안 검토에서 받아들여지는 형태입니다. 프로브와 탐지기별 실패율을 모든 시도의 JSONL 기록이 뒷받침합니다. 공격 기법은 공개된 연구에서 가져왔고, NVIDIA의 관리는 릴리스 주기에서 드러납니다. 2026년 내내 대략 매달 릴리스가 나왔으며 GitHub 스타는 약 9,700개입니다.
새 사용자가 걸려 넘어지는 것은 기본 값입니다. 따로 지정하지 않으면 garak은 모든 프로브를 실행하고, 각 프롬프트를 다섯 번 보내며(핵심 설정의 generations: 5), 프로브당 프롬프트를 느슨하게 256개로 제한하고, 요청을 한 번에 하나씩 보냅니다. 이 설정으로 저희가 계산하면 프로브당 최대 1,280회 호출이고, 전체 실행이면 수만 회입니다. 예를 들어 --spec으로 probes.promptinject나 probes.dan으로 범위를 좁히고 병렬 요청을 켜야 정기 스캔을 감당할 수 있습니다.
가장 큰 강점은 지원하는 대상의 폭입니다. Bedrock, NIM, LiteLLM, 범용 REST 엔드포인트를 지원하므로 원시 모델만이 아니라 배포된 애플리케이션을 스캔할 수 있습니다. 시스템 프롬프트와 모델 앞단의 필터가 결과를 바꾸기 때문에 이 점은 중요합니다.
한계는 설계에서 나옵니다. garak은 텍스트 엔드포인트를 검사할 뿐, 에이전트의 도구, 데이터 저장소, 권한은 모델링하지 않습니다. 그래서 과도한 행위 주체성과 도구 오용(OWASP LLM06)에는 PyRIT, DeepTeam, promptfoo의 에이전트 플러그인이 필요합니다. 문서는 아직 작성 중이라고 소개되며, 탐지기가 표시한 결과는 확인된 취약점이 아니라 단서입니다. 0.17.1 릴리스 노트에는 탐지기 수정 여덟 건이 있으며, 그중 하나는 검사하지 않은 파일을 FileDetector가 통과로 채점하던 문제를 고친 것입니다. 스캐너의 점수는 탐지기만큼만 믿을 수 있다는 점을 일깨워 줍니다.
제 역할을 하는 곳
고객용 챗봇의 출시를 승인하는 AppSec 엔지니어
배포된 봇이 출 시 전에 알려진 탈옥을 견딘다는 것을 보여 주기
짧은 YAML 파일로 garak의 REST 생성기를 스테이징 엔드포인트에 연결하고 dan, promptinject, encoding 프로브를 실행합니다. JSONL 보고서가 검토 자료에 첨부할 프로브별 실패율을 줍니다. 비용은 모델 호출이며, 기본적으로 프롬프트당 다섯 번입니다.
호스팅 모델에서 NVIDIA NIM의 오픈 가중치로 옮기는 ML 플랫폼 팀
새 모델의 안전성이 퇴보하지 않았는지 확인하기
범위를 좁힌 같은 프로브 세트를 각 생성기를 통해 두 모델에 실행하고 실패율을 비교합니다. 추론 비용 외에는 무료이지만, 기본 전체 실행은 비교에 필요한 규모보다 훨씬 큽니다.
AI 감사를 준비하는 은행의 모델 리스크 책임자
반복 가능한 레드팀 프로세스 입증하기
모델이나 시스템 프롬프트가 바뀔 때마다 CI에서 고정된 garak 프로브 세트를 실행하도록 예약하고 보고서를 보관합니다. 모델 수준의 약점만 다루므로, 도구 오용과 과도한 행위 주체성에는 에이전트를 고려한 별도 테스트가 필요합니다.
도입 전 확인할 점
- 설정
- python -m pip install -U garak(Python 3.11 이상)을 실행하고, 제공업체의 API 키를 설정한 뒤 예를 들어 garak --target_type openai --target_name <model> --spec probes.encoding을 실행합니다. 로컬 Hugging Face 대상은 자체 하드웨어에서 실행됩니다.
- 연동
- Hugging Face, OpenAI, Bedrock(Converse API), Replicate, Cohere, Groq, NVIDIA NIM, llama.cpp, LiteLLM, WebSocket, 그리고 YAML로 지정하는 모든 REST 엔드포인트용 생성기. JSONL 보고서와, 적중이 가장 많은 프롬프트를 나열하는 analyse_log.py 스크립트.
- 데이터와 개인정보
- 프롬프트와 응답은 설정한 대상에만 전송되며, 보고서와 로그는 garak_runs에 로컬로 남습니다. Apache 2.0이라 상업적 사용이 가능합니다. README는 텔레메트리를 언급하지 않으며, 공개된 GitHub 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 도구는 무료이고 지출은 추론 비용입니다. 프로브당 생성 다섯 번과 느슨한 프롬프트 상한 256개는 프로브당 최대 1,280회 호출을 뜻하므로, 범위를 좁히지 않고 프로브 모듈 45개 전체를 실행하면 수만 회 호출에 이를 수 있습니다.
- 제한
- 단일 엔드포인트 텍스트에 초점을 두며 에이전트 도구나 권한은 모델링하지 않습니다. parallel_requests를 설정하지 않으면 요청은 순차적입니다. 열린 이슈가 287개입니다. 탐지기 정확도는 릴리스마다 계속 수정되고 있습니다.
좋은 점
- 공개된 공격을 담은 프로브 모듈 45개를 CLI 하나로
- REST와 LiteLLM을 포함해 거의 모든 엔드포인트 스캔
- JSONL 보고서에 프로브별 실패율
- Apache 2.0이며 대략 매달 릴리스
아쉬운 점
- 에이전트 도구나 권한이 아닌 텍스트 엔드포인트만 테스트
- 기본 전체 실행은 수만 회 호출
- 탐지기 결과는 수동으로 분류해야 함
- 문서가 아직 불완전
추천 대상
출시 전과 모델을 바꿀 때마다 LLM 엔드포인트에 반복 가능한 모델 수준 취약점 스캔을 하고 싶은 팀.
garak 대안
garak: 자주 묻는 질문
- garak, 쓸 만한 가치가 있습니까?
- 모델 수준의 약점을 찾는 표준 오픈 스캐너입니다. 출시 전과 모델을 바꿀 때마다 돌려야 하지만, 에이전트의 도구와 권한을 테스트하는 도구로 오해해서는 안 됩니다. 평점은 5점 만점에 4.3점입니다.
- garak의 가격은 얼마입니까?
- Apache 2.0 무료 오픈소스입니다. 스캔이 일으키는 모델 호출 비용만 냅니다.
- garak의 단점은 무엇입니까?
- 에이전트 도구나 권한이 아닌 텍스트 엔드포인트만 테스트; 기본 전체 실행은 수만 회 호출; 탐지기 결과는 수동으로 분류해야 함; 문서가 아직 불완전.
- garak에 적합한 사람은 누구입니까?
- 출시 전과 모델을 바꿀 때마다 LLM 엔드포인트에 반복 가능한 모델 수준 취약점 스캔을 하고 싶은 팀.
- 팀이나 프로덕션 환경에서 garak의 비용은 얼마입니까?
- 도구는 무료이고 지출은 추론 비용입니다. 프로브당 생성 다섯 번과 느슨한 프롬프트 상한 256개는 프로브당 최대 1,280회 호출을 뜻하므로, 범위를 좁히지 않고 프로브 모듈 45개 전체를 실행하면 수만 회 호출에 이를 수 있습니다.
- garak에 회사 데이터를 맡겨도 안전합니까?
- 프롬프트와 응답은 설정한 대상에만 전송되며, 보고서와 로그는 garak_runs에 로컬로 남습니다. Apache 2.0이라 상업적 사용이 가능합니다. README는 텔레메트리를 언급하지 않으며, 공개된 GitHub 보안 권고는 없습니다.
- garak의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 PyRIT, DeepTeam 및 promptfoo입니다.
답변 확인일: 2026년 10월 23일.
garak 개발사입니까? 이 평점을 사이트에 표시하십시오
