¿Qué es DeepTeam?
DeepTeam es un framework de Python de código abierto de Confident AI, la empresa detrás de DeepEval, para hacer red teaming de sistemas con LLM. Simula ataques como jailbreaks, inyección de prompts, ofuscación por codificación y explotación en varios turnos, y luego usa métricas de LLM como juez para dar a cada prueba un aprobado o suspenso razonado.
El README enumera más de 50 vulnerabilidades y más de 20 métodos de ataque. Además de fuga de datos personales, fuga del prompt, sesgo y toxicidad, cubre clases de seguridad de aplicaciones como autorización rota a nivel de función y de objeto, inyección SQL y de shell y server-side request forgery, y otras específicas de agentes como la agencia excesiva, las instrucciones indirectas en contenido recuperado, el envenenamiento de metadatos de herramientas y la suplantación entre agentes. Los presets asignan a las pruebas adecuadas OWASP Top 10 for LLMs 2025, OWASP Top 10 for Agents 2026, NIST AI RMF, MITRE ATLAS, BeaverTails y Aegis, e incluye siete guardrails en tiempo de ejecución.
Se ejecuta en local desde Python o con una CLI basada en YAML y tiene licencia Apache 2.0. La versión 1.0.10 se publicó en PyPI el 16 de octubre de 2026; la página de versiones de GitHub se queda en la v1.0.9. La plataforma alojada de Confident AI vende almacenamiento e informes, con el red teaming como complemento Enterprise.
¿Merece la pena DeepTeam?
El punto fuerte de DeepTeam es la cobertura de los riesgos que importan cuando un modelo tiene herramientas. Su lista de vulnerabilidades parece una checklist de seguridad de aplicaciones traducida para agentes: saltarse la autorización, inyección SQL y de shell, SSRF, envenenamiento de metadatos de herramientas e instrucciones ocultas en documentos recuperados. Seis presets de marcos, incluida la lista OWASP de 2026 para agentes, dan a un equipo una base defendible en una sola llamada cuando una revisión de seguridad pregunta qué se probó.
La debilidad es el juez. Un LLM genera los ataques y otro decide el aprobado o el suspenso, así que los resultados se mueven con el modelo juez, cada ejecución cuesta tokens en tu clave de OpenAI o en el modelo que configures, y hay que contar tanto con falsas alarmas como con fallos no detectados. Los detectores basados en reglas de garak y las opciones de puntuación de PyRIT dan más control sobre ese paso.
Dos opciones por defecto merecen atención. La telemetría está activada salvo que definas DEEPTEAM_TELEMETRY_OPT_OUT=YES (y DEEPEVAL_TELEMETRY_OPT_OUT=YES para la biblioteca subyacente): el código inicializa Sentry y PostHog y consulta tu dirección IP pública mediante ipify. La página de privacidad de datos dice que solo se envían los nombres de las vulnerabilidades ejecutadas y recuentos de uso, no los prompts. Además, la página de versiones de GitHub se actualizó por última vez en noviembre de 2025 mientras PyPI avanzaba hasta la 1.0.10, así que los registros de cambios son escasos.
El modelo de negocio está a la vista. La biblioteca gratuita te dirige a Confident AI para guardar resultados, y en su página de precios el red teaming no está en los planes Starter de 200 $ ni Team de 2.000 $, sino en un módulo "Enterprise ++" con precios a medida. Un equipo que quiera evaluaciones programadas e informes compartidos sin ese contrato acabará montando su propia tubería de JSON a panel, que es lo que promptfoo regala en su CLI de código abierto.
Dónde se gana su sitio
Un ingeniero de seguridad en una fintech que lanza un agente de soporte con herramientas de reembolsos y cuentas
Demostrar al equipo de auditoría que el agente se probó contra OWASP antes del lanzamiento
Envuelve el agente en un model_callback asíncrono y ejecuta red_team con el marco OWASP_ASI_2026; exporta la evaluación de riesgos como JSON para la revisión. Presupuesta tokens del modelo juez por ejecución y haz que una persona confirme cada fallo.
Un equipo de plataforma de ML que ejecuta comprobaciones nocturnas sobre un chatbot con RAG
Detectar regresiones en la resistencia a la inyección de prompts y a la fuga de datos personales tras cambios en los prompts
Mantén una configuración YAML con las vulnerabilidades y ataques elegidos y ejecuta la CLI en CI. Define las dos variables de exclusión de telemetría en el runner y fija el modelo juez para que las tasas de aprobado sean comparables de una noche a otra.
Un CISO en una aseguradora de 500 personas que compara opciones de red teaming
Elegir entre herramientas de código abierto y un servicio gestionado de red teaming
DeepTeam en sí es gratuito, pero Confident AI solo vende el red teaming alojado como complemento Enterprise con precio a medida. Compara ese precio con el tiempo del personal para ejecutar la biblioteca y revisar a mano los hallazgos del LLM juez.
Antes de decidirte
- Puesta en marcha
- pip install -U deepteam en Python de 3.9 a 3.13, define OPENAI_API_KEY o configura otro modelo juez y escribe un model_callback; una primera ejecución con una sola vulnerabilidad lleva minutos.
- Integraciones
- Construido sobre DeepEval; cualquier modelo admitido por DeepEval como atacante y juez; CLI con configuraciones YAML; bot de GitHub de análisis de código en la documentación; los resultados se envían a Confident AI.
- Datos y privacidad
- Los prompts van a los modelos atacante y juez que configures. La telemetría mediante Sentry y PostHog, con consulta de la IP pública, está activada por defecto; se desactiva con DEEPTEAM_TELEMETRY_OPT_OUT=YES y DEEPEVAL_TELEMETRY_OPT_OUT=YES. No hay avisos de seguridad publicados en GitHub.
- Coste a escala
- La biblioteca es gratuita; cada ejecución cuesta tokens del atacante y del juez que crecen con vulnerabilidades x ataques x turnos. Confident AI: Free (2 puestos, 5 ejecuciones de pruebas a la semana), Starter a 200 $ al mes, Team a 2.000 $ al mes con SOC 2 y SSO; el red teaming es un complemento Enterprise.
- Límites
- 80 issues y pull requests abiertos; variación del juez entre modelos; los ataques en varios turnos multiplican el gasto en tokens; las versiones de GitHub se quedan en la v1.0.9 de noviembre de 2025.
Lo bueno
- Amplia cobertura de vulnerabilidades de agentes y de seguridad de aplicaciones
- Presets de OWASP, NIST y MITRE ATLAS
- API de Python y CLI basada en YAML, ambas en local
- Apache 2.0 con versiones frecuentes en PyPI
Lo malo
- El aprobado o suspenso depende de un LLM juez
- Telemetría activada por defecto, incluida una consulta de la IP pública
- El módulo de red teaming alojado es solo Enterprise
- Las notas de versión de GitHub van un año por detrás de PyPI
Ideal para
Equipos de Python que construyen agentes y quieren una cobertura de red teaming alineada con OWASP que puedan ejecutar en local.
Alternativas a DeepTeam
DeepTeam: preguntas frecuentes
- ¿Merece la pena DeepTeam?
- El catálogo más amplio de vulnerabilidades de agentes y aplicaciones en una biblioteca abierta de red teaming, pero cada veredicto depende de un LLM juez que tendrás que comprobar. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta DeepTeam?
- Gratuito y de código abierto con Apache 2.0. La plataforma de Confident AI va de un nivel gratuito a 200 $ y 2.000 $ al mes; su módulo de red teaming es un complemento Enterprise con precio a medida.
- ¿Qué inconvenientes tiene DeepTeam?
- El aprobado o suspenso depende de un LLM juez; telemetría activada por defecto, incluida una consulta de la IP pública; el módulo de red teaming alojado es solo Enterprise; las notas de versión de GitHub van un año por detrás de PyPI.
- ¿Para quién es DeepTeam?
- Equipos de Python que construyen agentes y quieren una cobertura de red teaming alineada con OWASP que puedan ejecutar en local.
- ¿Cuánto cuesta DeepTeam para un equipo o en producción?
- La biblioteca es gratuita; cada ejecución cuesta tokens del atacante y del juez que crecen con vulnerabilidades x ataques x turnos. Confident AI: Free (2 puestos, 5 ejecuciones de pruebas a la semana), Starter a 200 $ al mes, Team a 2.000 $ al mes con SOC 2 y SSO; el red teaming es un complemento Enterprise.
- ¿Es DeepTeam seguro para los datos de la empresa?
- Los prompts van a los modelos atacante y juez que configures. La telemetría mediante Sentry y PostHog, con consulta de la IP pública, está activada por defecto; se desactiva con DEEPTEAM_TELEMETRY_OPT_OUT=YES y DEEPEVAL_TELEMETRY_OPT_OUT=YES. No hay avisos de seguridad publicados en GitHub.
- ¿Cuáles son las mejores alternativas a DeepTeam?
- Las alternativas más cercanas que hemos analizado son promptfoo, PyRIT y garak.
Respuestas comprobadas el 23 oct 2026.