O que é PyRIT?
O PyRIT (Python Risk Identification Tool) é o framework aberto da Microsoft para avaliar a segurança de sistemas de IA generativa. Ele é feito de partes modulares: alvos (o sistema sob teste), conversores que transformam os prompts de ataque, avaliadores que julgam as respostas e uma memória que guarda cada conversa, nota e resultado em SQLite ou Azure SQL.
Segundo a documentação, ele roda de fábrica ataques de um turno e de vários turnos, incluindo Crescendo, TAP (tree of attacks with pruning) e Skeleton Key. Os alvos incluem modelos da OpenAI, Azure, Anthropic, Google e Hugging Face, endpoints HTTP ou WebSocket personalizados e apps web controlados via Playwright. Os avaliadores podem ser de verdadeiro/falso, escala Likert, classificação ou personalizados, movidos por um LLM, pelo Azure AI Content Safety ou pelo seu próprio código. Um framework de Scenarios roda avaliações padrão de danos de conteúdo, riscos psicossociais e vazamento de dados em centenas de objetivos.
Ele pode ser usado como biblioteca Python, pelas ferramentas de linha de comando pyrit_scan e pyrit_shell, ou pelo CoPyRIT, uma interface web local para red teaming conduzido por pessoas. O repositório passou de Azure/PyRIT para microsoft/PyRIT; tem licença MIT e a versão 1.1.0 foi lançada em 4 de setembro de 2026.
PyRIT vale a pena?
O PyRIT é o kit de código aberto a buscar quando o ponto fraco de um modelo é uma conversa, não um único prompt. Crescendo, TAP e Skeleton Key vêm como ataques prontos: um modelo atacante conduz o diálogo, e um avaliador decide quando o alvo cedeu. A biblioteca de sondas do garak cobre mais ataques de um tiro, mas não se adapta no meio da conversa como o PyRIT.
O design é o de uma ferramenta de trabalho de red team. Alvos, conversores e avaliadores são peças intercambiáveis, e cada conversa, nota e resultado vai para SQLite, Azure SQL ou memória, então os achados podem ser reavaliados depois com outro juiz sem rodar os ataques de novo. O CoPyRIT, iniciado com pyrit_backend em localhost:8000, acrescenta uma interface no navegador para testes manuais, e os alvos Playwright permitem que o PyRIT ataque um front end real de chat na web, não só uma API. A versão 1.0, em julho de 2026, seguida da 1.0.1 e depois da 1.1.0, em 4 de setembro, deu às interfaces uma linha estável depois da 0.13 e da 0.14 no início do ano.
O custo é esforço e tokens. Endpoints e chaves ficam em ~/.pyrit/.env e as configurações de memória em ~/.pyrit/.pyrit_conf, e cada turno de um ataque de vários turnos cobra o alvo, o modelo atacante e, em geral, um avaliador LLM. O projeto não publica estimativa de tokens por cenário. Juízes LLM podem errar a nota, então os acertos precisam de leitura humana antes de virar relatórios de bug. A avaliação com Azure AI Content Safety e a memória em Azure SQL favorecem a nuvem da Microsoft, embora nenhuma delas seja obrigatória.
A comparação que um comprador deve fazer é com o promptfoo, não com o garak. O promptfoo coloca testes de red team em um arquivo YAML que uma equipe de produto roda no CI; o PyRIT pressupõe uma pessoa dedicada que vai ler transcrições e ajustar ataques. Eles respondem a perguntas diferentes, e uma equipe que lança um chatbot toda semana pode muito bem precisar dos dois.
Onde ele se destaca
Um líder de red team de IA em um banco testando um chatbot voltado ao cliente antes do lançamento
Encontrar jailbreaks de vários turnos que uma varredura de prompt único não pega
Apontar um alvo HTTP ou Playwright para o chat de staging, rodar Crescendo e TAP com um modelo atacante separado e guardar cada transcrição em SQLite para o relatório. O software é gratuito; a conta são as chamadas de modelo no alvo, no atacante e no avaliador, que o projeto não estima.
Uma engenheira de segurança em uma empresa SaaS cujo agente de LLM lê e-mails de clientes
Verificar se instruções escondidas em entradas não confiáveis fazem o agente vazar dados
Usar conversores para codificar o texto de ataque e rodar as avaliações de vazamento de dados do framework de Scenarios contra o endpoint do agente. Juízes LLM podem errar a nota, então revise cada acerto à mão antes de registrá-lo.
Um gestor de risco de modelos que precisa comprovar red teaming de IA a um comitê interno
Manter um registro repetível do que foi testado e do que falhou
A memória persistente guarda cada conversa, nota e resultado, então a mesma avaliação pode ser rodada de novo depois de uma atualização de modelo e comparada. O custo é tempo de engenharia, não licenças; não há edição paga nem contrato de suporte do fornecedor.
Antes de decidir
- Configuração
- pip install pyrit em Python 3.10 a 3.14 (a documentação recomenda 3.13), depois colocar as chaves dos endpoints em ~/.pyrit/.env. Não é preciso GPU, a menos que você mesmo hospede o modelo alvo ou atacante; pyrit_scan roda pela linha de comando um cenário empacotado, como airt.scam.
- Integrações
- Alvos para modelos da OpenAI, Azure, Anthropic, Google e Hugging Face, endpoints HTTP e WebSocket personalizados e front ends de navegador via Playwright. Os avaliadores podem ser um LLM, o Azure AI Content Safety ou seu próprio código.
- Dados e privacidade
- Roda localmente sob MIT; os prompts vão só para os modelos alvo, atacante e avaliador que você configurar, e os resultados ficam em SQLite, na memória ou em Azure SQL, se você escolher. A documentação não menciona telemetria, e o GitHub não lista avisos de segurança publicados; vulnerabilidades vão para o MSRC da Microsoft.
- Custo em escala
- Sem edição paga. O custo são as chamadas de modelo: cada turno de um ataque de vários turnos cobra três partes, então um cenário rodado em centenas de objetivos multiplica o gasto, e não há números de tokens por cenário publicados.
- Limites
- 137 issues e pull requests abertos. Os testes são definidos em Python e dotfiles, não em um único arquivo declarativo, então o uso no CI dá mais trabalho do que com o promptfoo; a avaliação com Content Safety exige um recurso do Azure.
O que é bom
- Ataques de vários turnos embutidos, como Crescendo e TAP
- Alvos, conversores e avaliadores plugáveis
- Memória persistente para compartilhar e reavaliar resultados
- Interface web para red teaming conduzido por pessoas
O que não é
- Exige Python e um esforço real de configuração
- Os modelos atacante e avaliador somam seu próprio gasto de tokens a cada ataque
- Notas baseadas em LLM precisam de revisão humana
- Alguns extras dependem de serviços do Azure
Ideal para
Engenheiros de segurança que precisam fazer red team a fundo em chatbots e agentes, incluindo escalada em vários turnos e front ends web.
Alternativas ao PyRIT
PyRIT: perguntas frequentes
- PyRIT vale a pena?
- O PyRIT automatiza as conversas lentas e crescentes que quebram chatbots, desde que alguém na equipe escreva o Python que o conduz. Damos nota 4.2 de 5.
- Quanto custa PyRIT?
- Gratuito e de código aberto sob MIT. Você paga pelas chamadas de modelo usadas pelos ataques e pelos avaliadores baseados em LLM.
- Quais são as desvantagens de PyRIT?
- Exige Python e um esforço real de configuração; os modelos atacante e avaliador somam seu próprio gasto de tokens a cada ataque; notas baseadas em LLM precisam de revisão humana; alguns extras dependem de serviços do Azure.
- Para quem PyRIT é indicado?
- Engenheiros de segurança que precisam fazer red team a fundo em chatbots e agentes, incluindo escalada em vários turnos e front ends web.
- Quanto custa PyRIT para uma equipe ou em produção?
- Sem edição paga. O custo são as chamadas de modelo: cada turno de um ataque de vários turnos cobra três partes, então um cenário rodado em centenas de objetivos multiplica o gasto, e não há números de tokens por cenário publicados.
- PyRIT é seguro para dados da empresa?
- Roda localmente sob MIT; os prompts vão só para os modelos alvo, atacante e avaliador que você configurar, e os resultados ficam em SQLite, na memória ou em Azure SQL, se você escolher. A documentação não menciona telemetria, e o GitHub não lista avisos de segurança publicados; vulnerabilidades vão para o MSRC da Microsoft.
- Quais são as melhores alternativas ao PyRIT?
- As alternativas mais próximas que analisamos são garak, DeepTeam e promptfoo.
Respostas verificadas em 26 de out. de 2026.