Segurança e red teaming

O que observar

As perguntas que separam as opções, em ordem de importância.

1. 01

   Cobertura mapeada ao OWASP Top 10 para LLMs

   O OWASP Top 10 for LLM Applications (edição de 2025) é a lista de verificação comum: prompt injection, divulgação de informações sensíveis, cadeia de suprimentos, envenenamento de dados e de modelos, tratamento inadequado da saída, autonomia excessiva, vazamento do prompt de sistema, fraquezas de vetores e embeddings, desinformação e consumo ilimitado. Pergunte quais itens uma ferramenta realmente testa. O DeepTeam traz um preset OWASP; o garak cobre bem os itens no nível do modelo, mas não a autonomia excessiva; nenhuma ferramenta sozinha cobre os dez.

2. 02

   Geração automatizada de ataques, inclusive em vários turnos

   Uma lista fixa de jailbreaks conhecidos encontra fraquezas antigas; ataques gerados contra o seu sistema encontram novas. O Crescendo e o TAP do PyRIT escalam ao longo de vários turnos, com um modelo atacante no comando, o DeepTeam e o promptfoo geram ataques com um LLM, e o garak roda uma grande biblioteca de sondas publicadas. Ataques gerados consomem tokens dos dois lados, então reserve orçamento para eles.

3. 03

   Riscos de agentes e ferramentas, não só do modelo

   Quando um modelo pode chamar ferramentas, as falhas perigosas são autonomia excessiva, autorização quebrada e instruções injetadas na saída das ferramentas. Teste o agente implantado com as suas ferramentas reais (as verificações de BOLA, BFLA e envenenamento de ferramentas do DeepTeam, os testes de uso inseguro de ferramentas do promptfoo, o PyRIT contra um endpoint ativo) e revise as permissões dadas a cada servidor MCP e a cada ferramenta; o privilégio mínimo importa mais do que qualquer scanner.

4. 04

   Cadeia de suprimentos: fixe e verifique o que você instala

   Pacotes de IA agora são alvos. Em março de 2026, invasores publicaram no PyPI duas versões envenenadas do LiteLLM usando credenciais roubadas de mantenedores. Fixe versões e hashes exatos para gateways e SDKs, atualize de forma deliberada e verifique dependências e código escrito por IA no mesmo pipeline que o restante do seu código. Verifique também servidores MCP e skills de agentes: o Snyk Agent Scan analisa descrições de ferramentas e skills em busca de envenenamento e instruções ocultas.

5. 05

   Integração com a CI e repetibilidade

   Fazer red teaming uma vez antes do lançamento não basta; rode de novo após cada mudança de modelo, prompt ou ferramenta. O promptfoo é feito para CI, com configurações YAML; o garak e o Snyk Agent Scan são CLIs com saída legível por máquina que você pode automatizar; o PyRIT e o DeepTeam são bibliotecas Python que você mesmo envolve. Fixe um conjunto-base de ataques para que os resultados sejam comparáveis entre execuções.

6. 06

   Como os achados são julgados

   A maioria das ferramentas decide aprovação ou falha com um LLM juiz ou com um detector, e os dois erram. Verifique se você consegue ver a transcrição completa por trás de cada achado, trocar o modelo juiz e pontuar de novo os resultados armazenados. O PyRIT guarda cada conversa em um banco de dados para nova pontuação; o garak grava um log JSONL de cada tentativa. Trate um resultado sinalizado como uma pista a confirmar, não como uma vulnerabilidade confirmada.

7. 07

   Licença e tratamento de dados

   Todas as ferramentas de red teaming aqui são open source (MIT ou Apache 2.0) e rodam localmente, enviando tráfego de ataque apenas ao modelo para o qual você as aponta. O Snyk Agent Scan é a exceção: ele envia descrições de ferramentas e o conteúdo das skills à API da Snyk para análise. A plataforma hospedada da Confident AI, um complemento opcional do DeepTeam, guarda os resultados com o fornecedor.

15 ferramentas comparadas

Ordenadas pela nossa nota. Abra qualquer avaliação para ver as fontes, os preços e o veredito completo.

Ferramentas de Segurança e red teaming comparadas

Ferramenta	Nota	Nosso veredito	Ideal para	Preço
promptfoorepositório	4.5/5	O promptfoo transforma testes de regressão de LLM e varreduras de red team em um arquivo YAML e um comando de CI; o novo dono é o ponto a observar.	Equipes que lançam apps de LLM e querem testes de regressão e varreduras de segurança no CI.	CLI gratuita e de código aberto (MIT); o uso Community inclui red teaming de até 10,000 sondagens por mês. Enterprise (nuvem gerenciada) e On-Premise têm preço sob consulta.
Inspectrepositório	4.4/5	Inspect é a estrutura de testes compartilhada das avaliações de segurança de IA governamentais e independentes; equipes de produto que verificam prompts em CI vão achá-lo mais framework do que precisam.	Pesquisadores e equipes de segurança que executam avaliações de agentes e de capacidades.	Gratuito e de código aberto sob a licença MIT.
Anthropic Sandbox Runtime (srt)repositório	4.4/5	Seu agente de programação pode ser convencido de qualquer coisa; o sistema operacional não, e o srt coloca o sistema operacional no comando.	Todo desenvolvedor que executa um agente de programação na própria máquina, como primeira camada de proteção.	Gratuito e de código aberto sob Apache 2.0.
Trail of Bits Skillsrepositório	4.4/5	Um prompt genérico de "procure problemas do OWASP" é um chute; isto é como uma empresa de auditoria em atividade realmente procura bugs, escrito para o seu agente.	Equipes que querem uma revisão de segurança estruturada e confiável do seu agente de programação antes de merges arriscados.	Gratuito sob CC BY-SA 4.0.
garakrepositório	4.3/5	O scanner aberto de referência para fraquezas no nível do modelo: rode antes do lançamento e depois de cada troca de modelo, mas não o confunda com um teste das ferramentas e permissões do seu agente.	Equipes que querem um scan de vulnerabilidades repetível, no nível do modelo, de um endpoint de LLM antes do lançamento e depois de cada troca de modelo.	Gratuito e open source sob Apache 2.0. Você paga apenas pelas chamadas ao modelo que um scan faz.
PyRITrepositório	4.2/5	O PyRIT automatiza as conversas lentas e crescentes que quebram chatbots, desde que alguém na equipe escreva o Python que o conduz.	Engenheiros de segurança que precisam fazer red team a fundo em chatbots e agentes, incluindo escalada em vários turnos e front ends web.	Gratuito e de código aberto sob MIT. Você paga pelas chamadas de modelo usadas pelos ataques e pelos avaliadores baseados em LLM.
security-guidance plugin (Claude Code)repositório	4.2/5	Para quem usa o Claude Code, é um ganho de segurança com um único comando, com um revisor que não está corrigindo a própria prova.	Usuários do Claude Code que querem revisão de segurança em cada mudança sem configurar nada.	Plugin gratuito sob Apache 2.0; as duas revisões feitas por modelo usam seu consumo do Claude ou da API.
NVIDIA OpenShellrepositório	4.1/5	Um sandbox de agentes pesado, feito para agentes que você deixa rodando sem supervisão, não para os que você fica observando.	Equipes que rodam agentes sem supervisão ou sobre código não confiável e precisam de regras de rede por host e por método.	Gratuito e de código aberto sob Apache 2.0.
ToolHiverepositório	4.1/5	Scanners dizem se um servidor MCP parece perigoso; o ToolHive limita o que ele pode fazer se for.	Equipes de plataforma e de segurança que precisam rodar, conter e auditar servidores MCP em toda a empresa.	Código aberto sob Apache 2.0; o Stacklok Enterprise acrescenta recursos e suporte, com preço sob consulta.
OpenSandboxrepositório	4.1/5	Uma resposta auto-hospedada aos sandboxes de código hospedados, que compensa o trabalho com Kubernetes quando você precisa de milhares de ambientes de agente de curta duração nas suas próprias máquinas.	Equipes de plataforma que rodam avaliações de agentes, rollouts de RL ou execução de código multi-inquilino e querem sandboxes na própria infraestrutura.	Gratuito e de código aberto sob Apache 2.0; os mantenedores não oferecem edição paga.
CC Safety Netrepositório	4.0/5	O cinto de segurança para o estrago que um sandbox permite de propósito: force-pushes, hard resets e rm -rf dentro do seu próprio projeto.	Quem deixa um agente de programação rodar comandos de shell sem aprovar cada um.	Gratuito e de código aberto sob MIT.
DeepTeamrepositório	3.9/5	O catálogo mais amplo de vulnerabilidades de agentes e aplicações em uma biblioteca aberta de red-teaming, mas cada veredito depende de um LLM juiz que você vai precisar conferir.	Equipes Python construindo agentes que querem uma cobertura de red-team mapeada para o OWASP e que possam rodar localmente.	Gratuito e de código aberto sob Apache 2.0. A plataforma da Confident AI vai de um nível gratuito a US$ 200 e US$ 2.000 por mês; seu módulo de red-teaming é um complemento do Enterprise com preço personalizado.
Cloudflare Security Audit Skillrepositório	3.9/5	A rara ferramenta de auditoria com IA que presume que seus próprios achados estão errados até que outro agente não consiga derrubá-los.	Equipes de segurança auditando uma base de código que querem achados verificados em vez de uma longa lista de talvez.	Gratuita sob MIT; as auditorias usam muitos tokens de modelo.
Snyk Agent Scanrepositório	3.8/5	Uma primeira verificação sensata dos servidores MCP e skills em que seus agentes confiam, desde que você aceite enviar as descrições deles à Snyk e escaneie configurações não confiáveis em um sandbox.	Equipes que deixam desenvolvedores ou agentes instalar servidores MCP e skills e querem uma verificação de cadeia de suprimentos antes de confiar neles.	Gratuito e de código aberto sob Apache 2.0; exige uma conta e um token de API da Snyk. O escaneamento em segundo plano de toda a frota reporta ao Snyk Evo, com preço sob consulta.
Cisco Skill Scannerrepositório	3.7/5	Vale colocar na frente do seu repositório de skills, desde que você acredite nos números dele: pega o óbvio, não tudo.	Equipes que mantêm um repositório interno de skills e querem uma barreira de varredura antes que qualquer coisa chegue aos desenvolvedores.	Gratuito sob Apache 2.0; os analisadores opcionais de LLM e na nuvem cobram pelos próprios provedores.

Lado a lado

As especificações que importam nesta etapa. Verificadas em 19 de out. de 2026; confirme no site do fornecedor antes de decidir.

Conecte ao seu agente

Servidores MCP que permitem que assistentes como Claude, ChatGPT e Cursor usem essas ferramentas diretamente.

• Snyk MCP Server (Snyk Studio) 4.0
• Jev MCP 4.3
• Semgrep MCP 4.3

Onde esta etapa se encaixa

• Converse com os seus documentos: começaríamos com promptfoo.
• Agente de atendimento ao cliente: começaríamos com promptfoo.
• Agente de programação: começaríamos com Snyk MCP Server (Snyk Studio), promptfoo.
• Assistente com memória de longo prazo: começaríamos com promptfoo.
• Agente de voz: começaríamos com promptfoo.
• Processamento de documentos: começaríamos com Snyk MCP Server (Snyk Studio).
• O seu próprio modelo com fine-tuning: começaríamos com promptfoo.

Fontes deste guia

• OWASP Top 10 for LLM Applications 2025
• garak no GitHub
• Documentação do PyRIT (1.1.0)
• Documentação do DeepTeam sobre o OWASP Top 10
• Snyk Agent Scan no GitHub
• Datadog Security Labs: LiteLLM comprometido no PyPI