PyRIT의 개요
PyRIT(Python Risk Identification Tool)는 생성형 AI 시스템의 보안과 안전성을 평가하는 Microsoft의 공개 프레임워크입니다. 모듈식 부품으로 만들어졌습니다. 대상(테스트할 시스템), 공격 프롬프트를 바꾸는 변환기, 응답을 판단하는 채점기, 그리고 모든 대화, 점수, 결과를 SQLite나 Azure SQL에 저장하는 메모리입니다.
문서에 따르면 Crescendo, TAP(가지치기가 있는 공격 트리), Skeleton Key를 포함해 단일 턴과 다중 턴 공격을 기본으로 실행합니다. 대상에는 OpenAI, Azure, Anthropic, Google, Hugging Face 모델, 사용자 정의 HTTP나 WebSocket 엔드포인트, Playwright로 구동하는 웹 앱이 있습니다. 채점기는 참/거짓, 리커트 척도, 분류, 사용자 정의가 될 수 있으며, LLM, Azure AI Content Safety, 또는 직접 쓴 코드로 돕니다. Scenario 프레임워크는 수백 개의 목표에 걸쳐 콘텐츠 유해성, 심리사회적 위험, 데이터 유출에 대한 표준 평가를 돌립니다.
Python 라이브러리로, pyrit_scan과 pyrit_shell 명령줄 도구로, 또는 사람 주도 레드팀을 위한 로컬 웹 인터페이스 CoPyRIT로 쓸 수 있습니다. 저장소는 Azure/PyRIT에서 microsoft/PyRIT로 옮겨졌고, MIT 라이선스이며, 버전 1.1.0이 2026년 9월 4일에 나왔습니다.
PyRIT, 쓸 만한 가치가 있습니까?
PyRIT는 모델의 약점이 단일 프롬프트가 아니라 대화일 때 손을 뻗을 오픈소스 툴킷입니다. Crescendo, TAP, Skeleton Key가 기성 공격으로 제공됩니다. 공격자 모델이 대화를 이끌고, 채점기가 대상이 언제 무너졌는지 판단합니다. garak의 프로브 라이브러리는 일회성 공격을 더 많이 다루지만, PyRIT처럼 대화 도중에 적응 하지는 않습니다.
설계는 레드팀의 작업 도구다운 것입니다. 대상, 변환기, 채점기는 교체 가능한 부품이고, 모든 대화, 점수, 결과는 SQLite, Azure SQL, 메모리에 쌓이므로, 공격을 다시 돌리지 않고 나중에 다른 심사자로 발견 사항을 다시 채점할 수 있습니다. localhost:8000에서 pyrit_backend로 시작하는 CoPyRIT는 수동 테스트용 브라우저 인터페이스를 더하고, Playwright 대상으로 PyRIT가 API만이 아니라 실제 웹 채팅 프런트엔드를 공격할 수 있습니다. 2026년 7월의 1.0 릴리스에 이어 1.0.1, 그리고 9월 4일의 1.1.0이 올해 초 0.13과 0.14 이후 인터페이스에 안정된 계열을 줬습니다.
대가는 수고와 토큰입니다. 엔드포인트와 키는 ~/.pyrit/.env에, 메모리 설정은 ~/.pyrit/.pyrit_conf에 있고, 다중 턴 공격의 턴마다 대상, 공격자 모델, 그리고 보통 LLM 채점기가 청구됩니다. 프로젝트는 시나리오당 토큰 추정치를 공개하지 않습니다. LLM 심사자는 잘못 채점할 수 있으므로, 발견 사항은 버그 보고가 되기 전에 사람이 읽어야 합니다. Azure AI Content Safety 채점과 Azure SQL 메모리는 Microsoft 클라우드에 유리하지만, 둘 다 필수는 아닙니다.
구매자가 해야 할 비교는 garak이 아니라 promptfoo입니다. promptfoo는 제품팀이 CI에서 돌리는 YAML 파일에 레드팀 테스트를 넣고, PyRIT는 기록을 읽고 공격을 조정할 전담자를 전제합니다. 둘은 다른 질문에 답하며, 매주 챗봇을 출시하는 팀이라면 둘 다 필요할 수 있습니다.
제 역할을 하는 곳
출시 전 고객 대면 챗봇을 테스트하는 은행의 AI 레드팀 책임자
단일 프롬프트 스캔이 놓치는 다중 턴 탈옥 찾기
HTTP나 Playwright 대상을 스테이징 채팅에 연결하고, 별도 공격자 모델로 Crescendo와 TAP를 돌리고, 보고서를 위해 모든 기록을 SQLite에 보관합니다. 소프트웨어는 무료이고, 청구액은 대상, 공격자, 채점기에 대한 모델 호출이며 프로젝트는 이를 추정하지 않습니다.
LLM 에이전트가 고객 이메일을 읽는 SaaS 회사의 보안 엔지니어
신뢰할 수 없는 입력에 숨긴 지시가 에이전트의 데이터 유출을 일으키는지 확인하기
변환기로 공격 텍스트를 인코딩하고 에이전트 엔드포인트에 Scenario 프레임워크의 데이터 유출 평가를 돌립니다. LLM 심사자가 잘못 채점할 수 있으므로 발견 사항마다 보고 전에 직접 검토하십시오.
내부 심의 위원회에 AI 레드팀 증거를 제출해야 하는 모델 위험 관리자
무엇을 시험했고 무엇이 실패했는지 반복 가능한 기록 유지하기
영구 메모리가 대화, 점수, 결과를 모두 저장하므로 모델 업그레이드 뒤 같은 평가를 다시 돌려 비교할 수 있습니다. 라이선스가 아니라 엔지니어 시간이 듭니다. 유료 에디션이나 업체 지원 계약은 없습니다.
도입 전 확인할 점
- 설정
- Python 3.10에서 3.14(문서는 3.13 권장)에 pip install pyrit을 하고, 엔드포인트 키를 ~/.pyrit/.env에 넣습니다. 대상이나 공격자 모델을 직접 호스팅하지 않는다면 GPU는 필요 없습니다. pyrit_scan은 airt.scam 같은 패키지 시나리오를 명령줄에서 돌립니다.
- 연동
- OpenAI, Azure, Anthropic, Google, Hugging Face 모델, 사용자 정의 HTTP와 WebSocket 엔드포인트, Playwright를 통한 브라우저 프런트엔드용 대상. 채점기는 LLM, Azure AI Content Safety, 또는 직접 쓴 코드.
- 데이터와 개인정보
- MIT로 로컬에서 실행됩니다. 프롬프트는 설정한 대상, 공격자, 채점기 모델로만 가고, 결과는 SQLite, 메모리, 또는 선택하면 Azure SQL에 보관됩니다. 문서에 텔레메트리 언급은 없고, GitHub에 공개된 보안 권고도 없으며, 취약점은 Microsoft MSRC로 보고합니다.
- 대규모 사용 시 비용
- 유료 에디션은 없습니다. 비용은 모델 호출입니다. 다중 턴 공격의 턴마다 세 곳이 청구되므로 수백 개 목표에 걸친 시나리오 실행은 지출을 크게 늘리며, 시나리오당 토큰 수치는 공개되지 않았습니다.
- 제한
- 열린 이슈와 풀 리퀘스트 137개. 테스트가 선언 형 파일 하나가 아니라 Python과 설정 파일로 정의돼 CI 사용에 promptfoo보다 품이 더 듦. Content Safety 채점에는 Azure 리소스 필요.
좋은 점
- Crescendo와 TAP 같은 내장 다중 턴 공격
- 교체 가능한 대상, 변환기, 채점기
- 결과를 공유하고 다시 채점하기 위한 영구 메모리
- 사람 주도 레드팀을 위한 웹 UI
아쉬운 점
- Python과 상당한 설정 수고 필요
- 공격자와 채점기 모델이 공격마다 자체 토큰 비용을 더함
- LLM 기반 점수는 사람의 검토 필요
- 일부 부가 기능은 Azure 서비스에 기댐
추천 대상
다중 턴 수위 상승과 웹 프런트엔드를 포함해 챗봇과 에이전트를 깊이 레드팀해야 하는 보안 엔지니어.
PyRIT 대안
PyRIT: 자주 묻는 질문
- PyRIT, 쓸 만한 가치가 있습니까?
- PyRIT는 챗봇을 무너뜨리는 느리고 점점 수위를 높이는 대화를 자동화합니다. 단, 팀의 누군가가 이를 구동하는 Python을 써야 합니다. 평점은 5점 만점에 4.2점입니다.
- PyRIT의 가격은 얼마입니까?
- MIT의 무료 오픈소스입니다. 공격과 LLM 기반 채점기가 쓰는 모델 호출 비용을 냅니다.
- PyRIT의 단점은 무엇입니까?
- Python과 상당한 설정 수고 필요; 공격자와 채점기 모델이 공격마다 자체 토큰 비용을 더함; LLM 기반 점수는 사람의 검토 필요; 일부 부가 기능은 Azure 서비스에 기댐.
- PyRIT에 적합한 사람은 누구입니까?
- 다중 턴 수위 상승과 웹 프런트엔드를 포함해 챗봇과 에이전트를 깊이 레드팀해야 하는 보안 엔지니어.
- 팀이나 프로덕션 환경에서 PyRIT의 비용은 얼마입니까?
- 유료 에디션은 없습니다. 비용은 모델 호출입니다. 다중 턴 공격의 턴마다 세 곳이 청구되므로 수백 개 목표에 걸친 시나리오 실행은 지출을 크게 늘리며, 시나리오당 토큰 수치는 공개되지 않았습니다.
- PyRIT에 회사 데이터를 맡겨도 안전합니까?
- MIT로 로컬에서 실행됩니다. 프롬프트는 설정한 대상, 공격자, 채점기 모델로만 가고, 결과는 SQLite, 메모리, 또는 선택하면 Azure SQL에 보관됩니다. 문서에 텔레메트리 언급은 없고, GitHub에 공개된 보안 권고도 없으며, 취약점은 Microsoft MSRC로 보고합니다.
- PyRIT의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 garak, DeepTeam 및 promptfoo입니다.
답변 확인일: 2026년 10월 26일.
PyRIT 개발사입니까? 이 평점을 사이트에 표시하십시오
