O que é DeepTeam?
O DeepTeam é um framework Python de código aberto da Confident AI, a empresa por trás do DeepEval, para fazer red-teaming de sistemas com LLM. Ele simula ataques como jailbreaks, injeção de prompt, ofuscação por codificação e exploração em vários turnos, e depois usa métricas de LLM como juiz para dar a cada teste um aprovado ou reprovado com justificativa.
O README lista mais de 50 vulnerabilidades e mais de 20 métodos de ataque. Além de vazamento de PII, vazamento de prompt, viés e toxicidade, ele cobre classes de segurança de aplicações, como falhas de autorização no nível de função e de objeto, injeção de SQL e de shell e server-side request forgery, e classes específicas de agentes, como agência excessiva, instruções indiretas em conteúdo recuperado, envenenamento de metadados de ferramentas e falsificação entre agentes. Presets mapeiam OWASP Top 10 for LLMs 2025, OWASP Top 10 for Agents 2026, NIST AI RMF, MITRE ATLAS, BeaverTails e Aegis para os testes certos, e ele traz sete guardrails de runtime.
Ele roda localmente a partir de Python ou de uma CLI guiada por YAML e tem licença Apache 2.0. A versão 1.0.10 foi publicada no PyPI em 16 de outubro de 2026; a página de releases do GitHub para na v1.0.9. A plataforma hospedada da Confident AI vende armazenamento e relatórios, com o red teaming como complemento do Enterprise.
DeepTeam vale a pena?
A força do DeepTeam é a cobertura dos riscos que importam quando um modelo tem ferramentas. Sua lista de vulnerabilidades parece um checklist de segurança de aplicações traduzido para agentes: contorno de autorização, injeção de SQL e de shell, SSRF, envenenamento de metadados de ferramentas e instruções escondidas em documentos recuperados. Seis presets de frameworks, incluindo a lista OWASP de 2026 para agentes, dão a uma equipe uma base defensável em uma única chamada quando uma revisão de segurança pergunta o que foi testado.
A fraqueza é o juiz. Um LLM gera os ataques e outro decide se passou ou falhou, então os resultados variam com o modelo juiz, cada execução custa tokens na sua chave da OpenAI ou no modelo que você configurar, e tanto alarmes falsos quanto falhas não detectadas são esperados. Os detectores baseados em regras do garak e as opções de pontuação do PyRIT dão mais controle sobre essa etapa.
Dois padr ões merecem atenção. A telemetria fica ligada, a menos que você defina DEEPTEAM_TELEMETRY_OPT_OUT=YES (e DEEPEVAL_TELEMETRY_OPT_OUT=YES para a biblioteca de base): o código inicializa o Sentry e o PostHog e consulta o seu endereço IP público pelo ipify. A página de privacidade de dados diz que só são enviados os nomes das vulnerabilidades executadas e contagens de uso, não os prompts. Segundo, a página de releases do GitHub foi atualizada pela última vez em novembro de 2025, enquanto o PyPI avançou para a 1.0.10, então os changelogs são escassos.
O modelo de negócio está à vista. A biblioteca gratuita empurra você para a Confident AI para armazenar resultados, e na página de preços o red teaming não está nos planos Starter de US$ 200 nem Team de US$ 2.000, mas em um módulo "Enterprise ++" com preços personalizados. Uma equipe que quer avaliações agendadas e relatórios compartilhados sem esse contrato vai acabar construindo o próprio encanamento de JSON para painel, que é o que o promptfoo oferece de graça na sua CLI de código aberto.
Onde ele se destaca
Um engenheiro de segurança em uma fintech que lança um agente de suporte com ferramentas de reembolso e de conta
Mostrar à equipe de auditoria que o agente foi testado contra o OWASP antes do lançamento
Envolva o agente em um model_callback assíncrono e rode red_team com o framework OWASP_ASI_2026; exporte a avaliação de risco como JSON para a revisão. Reserve tokens do modelo juiz por execução e peça a uma pessoa que confirme cada falha.
Uma equipe de plataforma de ML que roda verificações noturnas em um chatbot com RAG
Detectar regressões na resistência a injeção de prompt e vazamento de PII após mudanças de prompt
Mantenha uma configuração YAML com as vulnerabilidades e ataques escolhidos e rode a CLI no CI. Defina as duas variáveis de desativação da telemetria no runner e fixe o modelo juiz para que as taxas de aprovação sejam comparáveis de uma noite para outra.
Um CISO em uma seguradora de 500 pessoas comparando opções de red-teaming
Decidir entre ferramentas de código aberto e um serviço gerenciado de red-teaming
O DeepTeam em si é gratuito, mas a Confident AI só vende red teaming hospedado como complemento do Enterprise com preço personalizado. Compare isso com o tempo da equipe para rodar a biblioteca e triar à mão os achados do LLM juiz.
Antes de decidir
- Configuração
- pip install -U deepteam em Python 3.9 a 3.13, defina OPENAI_API_KEY ou configure outro modelo juiz e escreva um model_callback; uma primeira execução com uma única vulnerabilidade leva minutos.
- Integrações
- Construído sobre o DeepEval; qualquer modelo suportado pelo DeepEval como atacante e juiz; CLI com configurações YAML; bot do GitHub de varredura de código na documentação; os resultados são enviados para a Confident AI.
- Dados e privacidade
- Os prompts vão para os modelos atacante e juiz que você configurar. A telemetria via Sentry e PostHog, com consulta do IP público, vem ligada por padrão; desative com DEEPTEAM_TELEMETRY_OPT_OUT=YES e DEEPEVAL_TELEMETRY_OPT_OUT=YES. Nenhum aviso de segurança publicado no GitHub.
- Custo em escala
- A biblioteca é gratuita; cada execução custa tokens do atacante e do juiz, que crescem com vulnerabilidades x ataques x turnos. Confident AI: Free (2 assentos, 5 execuções de teste por semana), Starter US$ 200 por mês, Team US$ 2.000 por mês com SOC 2 e SSO; o red teaming é um complemento do Enterprise.
- Limites
- 80 issues e pull requests abertos; variação do juiz entre modelos; ataques em vários turnos multiplicam o gasto de tokens; as releases do GitHub param na v1.0.9, de novembro de 2025.
O que é bom
- Ampla cobertura de vulnerabilidades de agentes e de segurança de aplicações
- Presets de OWASP, NIST e MITRE ATLAS
- API Python e CLI guiada por YAML, ambas locais
- Apache 2.0 com lançamentos frequentes no PyPI
O que não é
- Aprovado ou reprovado depende de um LLM juiz
- Telemetria ligada por padrão, incluindo uma consulta do IP público
- O módulo hospedado de red-teaming é exclusivo do Enterprise
- As notas de versão do GitHub estão um ano atrás do PyPI
Ideal para
Equipes Python construindo agentes que querem uma cobertura de red-team mapeada para o OWASP e que possam rodar localmente.
Alternativas ao DeepTeam
DeepTeam: perguntas frequentes
- DeepTeam vale a pena?
- O catálogo mais amplo de vulnerabilidades de agentes e aplicações em uma biblioteca aberta de red-teaming, mas cada veredito depende de um LLM juiz que você vai precisar conferir. Damos nota 3.9 de 5.
- Quanto custa DeepTeam?
- Gratuito e de código aberto sob Apache 2.0. A plataforma da Confident AI vai de um nível gratuito a US$ 200 e US$ 2.000 por mês; seu módulo de red-teaming é um complemento do Enterprise com preço personalizado.
- Quais são as desvantagens de DeepTeam?
- Aprovado ou reprovado depende de um LLM juiz; telemetria ligada por padrão, incluindo uma consulta do IP público; o módulo hospedado de red-teaming é exclusivo do Enterprise; as notas de versão do GitHub estão um ano atrás do PyPI.
- Para quem DeepTeam é indicado?
- Equipes Python construindo agentes que querem uma cobertura de red-team mapeada para o OWASP e que possam rodar localmente.
- Quanto custa DeepTeam para uma equipe ou em produção?
- A biblioteca é gratuita; cada execução custa tokens do atacante e do juiz, que crescem com vulnerabilidades x ataques x turnos. Confident AI: Free (2 assentos, 5 execuções de teste por semana), Starter US$ 200 por mês, Team US$ 2.000 por mês com SOC 2 e SSO; o red teaming é um complemento do Enterprise.
- DeepTeam é seguro para dados da empresa?
- Os prompts vão para os modelos atacante e juiz que você configurar. A telemetria via Sentry e PostHog, com consulta do IP público, vem ligada por padrão; desative com DEEPTEAM_TELEMETRY_OPT_OUT=YES e DEEPEVAL_TELEMETRY_OPT_OUT=YES. Nenhum aviso de segurança publicado no GitHub.
- Quais são as melhores alternativas ao DeepTeam?
- As alternativas mais próximas que analisamos são promptfoo, PyRIT e garak.
Respostas verificadas em 23 de out. de 2026.