Giskard의 개요
Giskard는 LLM 애플리케이션과 에이전트를 테스트하는 오픈소스 Python 라이브러리입니다. 버전 3은 작은 패키지로 나뉜 재작성판입니다. giskard-checks는 시나리오 테스트를 실행하는데, 대상(동기든 비동기든 어떤 함수든)에 일련의 입력을 보내고 그 기록을 문자열 일치, 정규식, 의미 유사도 또는 Groundedness와 Conformity 같은 LLM 심판으로 검사합니다. giskard-scan은 에이전트를 평이한 말로 설명하면 적대적 테스트 묶음을 만들어 주는 취약점 스캔과, 지식 베이스에서 RAG 테스트 질문을 만드는 품질 스캔을 더합니다.
스캔은 프롬프트 인젝션, 유해 콘텐츠, 고정관념, 허위 정보를 다루며 OWASP LLM Top 10에 대응하고, 인젝션 페이로드 데이터 세트도 함께 제공합니다. Python 3.12 이상과 심판 및 생성기용 LLM 제공업체 키가 필요하며, 기본 모델은 openai/gpt-4o-mini입니다.
저장소 Giskard-AI/giskard-oss의 스타는 약 5,900개이고 라이선스는 Apache-2.0입니다. 회사는 그 위에 지속적인 레드팀 테스트를 위한 Enterprise 플랫폼을 판매하며, 온프레미스, 프라이빗 클라우드, SaaS로 배포할 수 있고 가격은 공개하지 않습니다.
Giskard, 쓸 만한 가치가 있습니까?
Giskard의 장점은 하나의 의존성으로 다루는 범위입니다. 팀은 여러 턴짜리 대화에 대해 결정적 검사와 LLM 심판 검사를 작성하고, 자체 문서에서 RAG 질문 세트를 생성하고, 프롬프트 인젝션과 유해 출력에 대한 적대적 스캔을 실행할 수 있으며, 모두 같은 Python 패키지에서 이뤄집니다. Promptfoo는 YAML 중심 CLI로 비슷한 영역을 다루고, DeepEval과 Ragas는 각각 그 일부를 다룹 니다.
v3의 설계는 합리적입니다. 모든 것이 대상, 시나리오, 검사, 묶음으로 표현되므로 모델 직접 호출, LangChain 에이전트, 블랙박스 HTTP 엔드포인트를 같은 방식으로 테스트하며, 설치한 패키지만 의존성을 끌어옵니다. 취약점 스캔은 에이전트가 해야 할 일과 하지 말아야 할 일에 대한 설명으로 테스트 묶음을 작성하므로 공격 프롬프트를 손으로 쓰는 것보다 빠르고, 직접 만든 생성기를 기본 생성기 옆에 등록할 수도 있습니다.
주의할 점: 문제는 재작성 그 자체입니다. v2는 더 이상 적극적으로 유지보수되지 않으며, 표 형식 및 전통적 ML 모델용 자동 스캔과 Hub 연동은 v3에 계획돼 있지 않습니다. giskard.Model과 giskard.Dataset을 쓰는 프로젝트는 업그레이드가 아니라 마이그레이션을 해야 합니다. Python 3.12가 최소 요건이라 오래된 운영 이미지 상당수는 쓸 수 없습니다.
두 가지 기본값에 주의해야 합니다. 모든 LLM 심판과 스캔 생성기는 유료 제공업체를 호출하며, 따로 설정하지 않으면 gpt-4o-mini를 씁니다. 그래서 큰 스캔에는 토큰 비용이 들고 테스트 프롬프트도 그 제공업체로 전송됩니다. 익명 텔레메트리는 기본으로 켜져 있습니다. README에 따르면 프롬프트나 출력은 전송되지 않으며, DO_NOT_TRACK=1로 끌 수 있습니다.
"이 에이전트는 출시해도 될 만큼 안전하고 근거에 충실한가"를 묻는 팀에게 Giskard는 탄탄한 오픈소스 출발점입니다. CI 대시보드와 이력이 필요한 팀은 여전히 트레이싱 플랫폼과 함께 써야 합니다.
제 역할을 하는 곳
직원 60명 보험사에서 고객 지원 에이전트를 출시하는 ML 엔지니어
출시 전에 에이전트가 설득당해 계약 데이터를 유출하지 않는지 확인
에이전트의 역할과 금지 행동을 설명하고 취약점 스캔을 실행한 뒤, 생성된 프롬프트 인젝션 시나리오를 회귀 테스트로 보관합니다. 비용은 생성기와 심판이 쓰는 LLM 토큰입니다.
사내 문서 기반 RAG 어시스턴트를 운영하는 플랫폼 팀
재색인 후에도 답변이 근거에 충실한지 측정
quality_scan을 지식 베이스에 연결해 질문을 생성하고, 색인을 다시 만들 때마다 CI에서 Groundedness 검사를 실행합니다. 품질 저하는 사용자 불만이 아니라 실패한 시나리오로 드러납니다.
도입 전 확인할 점
- 설정
- 검사용으로 pip install giskard, 스캔용으로 giskard[scan]을 설치하고, giskard[openai] 같은 제공업체 extra와 해당 API 키를 준비합니다. Python 3.12 이상이 필요합니다.
- 연동
- 동기·비동기 함수를 모두 감쌀 수 있어 LangChain, LlamaIndex, SDK 직접 호출, HTTP 엔드포인트와 함께 동작합니다. LLM 호출은 giskard-llm을 통해 어떤 제공업체로든 보낼 수 있고, pytest나 노트북에서 실행됩니다.
- 데이터와 개인정보
- 로컬에서 실행되며, 테스트 프롬프트는 심판과 생성기에 설정한 LLM 제공업체로 전송됩니다. 집계 텔레메트리는 기본으로 켜져 있고 프롬프트나 출력은 포함하지 않으며, DO_NOT_TRACK=1 또는 GISKARD_TELEMETRY_DISABLED=1로 끕니다.
- 대규모 사용 시 비용
- 라이브러리는 무료이며 운영 비용은 심판과 생성기의 토큰입니다. 지속적 레드팀과 SSO를 갖춘 Enterprise 플랫폼의 가격은 공개되지 않았습니다.
- 제한
- v2의 표 형식 및 ML 모델 스캔은 v3에 계획돼 있지 않습니다. 가격 페이지의 50개 이상 적대적 프로브는 라이브러리가 아니라 Enterprise 플랫폼 기준입니다.
좋은 점
- 시나리오 테스트, RAG 평가, 레드팀 스캔을 하나의 Apache-2.0 라이브러리에서 제공
- 에이전트에 대한 평이한 설명으로 적대적 테스트 묶음 생성
- OWASP LLM Top 10에 대응하고 인젝션 페이로드 세트 내장
- 모듈식 패키지로 의존성을 작게 유지
아쉬운 점
- v3에서 표 형식 및 ML 모델 스캔이 빠졌고 v2는 더 이상 적극적으로 유지보수되지 않음
- Python 3.12 이상 필요
- 심판과 스캔이 기본적으로 유료 LLM 제공업체를 호출
- 끄지 않으면 텔레메트리가 켜져 있음
추천 대상
에이전트 시나리오 테스트와 출시 전 레드팀 스캔을 하나의 오픈소스 라이브러리로 해결하려는 Python 팀.
Giskard 대안
Giskard: 자주 묻는 질문
- Giskard, 쓸 만한 가치가 있습니까?
- Giskard는 여러 턴에 걸친 에이전트 테스트와 OWASP에 맞춘 레드팀 스캔을 하나의 Apache-2.0 라이브러리에 담았지만, v3는 아직 이르고 v2 사용자가 의존하던 표 형식 모델 스캔을 없앴습니다. 평점은 5점 만점에 4.0점입니다.
- Giskard의 가격은 얼마입니까?
- 라이브러리는 무료 오픈소스(Apache-2.0)입니다. Enterprise 플랫폼(지속적 레드팀, SSO, RBAC, 온프레미스 또는 SaaS)은 문의 시 가격을 안내합니다.
- Giskard의 단점은 무엇입니까?
- v3에 서 표 형식 및 ML 모델 스캔이 빠졌고 v2는 더 이상 적극적으로 유지보수되지 않음; Python 3.12 이상 필요; 심판과 스캔이 기본적으로 유료 LLM 제공업체를 호출; 끄지 않으면 텔레메트리가 켜져 있음.
- Giskard에 적합한 사람은 누구입니까?
- 에이전트 시나리오 테스트와 출시 전 레드팀 스캔을 하나의 오픈소스 라이브러리로 해결하려는 Python 팀.
- 팀이나 프로덕션 환경에서 Giskard의 비용은 얼마입니까?
- 라이브러리는 무료이며 운영 비용은 심판과 생성기의 토큰입니다. 지속적 레드팀과 SSO를 갖춘 Enterprise 플랫폼의 가격은 공개되지 않았습니다.
- Giskard에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행되며, 테스트 프롬프트는 심판과 생성기에 설정한 LLM 제공업체로 전송됩니다. 집계 텔레메트리는 기본으로 켜져 있고 프롬프트나 출력은 포함하지 않으며, DO_NOT_TRACK=1 또는 GISKARD_TELEMETRY_DISABLED=1로 끕니다.
- Giskard의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 promptfoo, DeepEval, DeepTeam 및 garak입니다.
답변 확인일: 2026년 11월 6일.
Giskard 개발사입니까? 이 평점을 사이트에 표시하십시오
