Red teaming de IA
El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.
También llamado: red team, red teaming
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
El término procede de los ejercicios militares y de seguridad en los que un equipo rojo hace de atacante. En los modelos de lenguaje el objetivo es el comportamiento: ¿se puede empujar al sistema a dar instrucciones peligrosas, filtrar datos, insultar a los usuarios o realizar una acción que no debería?
Cómo funciona
Ganguli et al. describieron los primeros trabajos de red teaming de modelos de lenguaje para descubrir, medir y reducir las salidas dañinas. Observaron que los modelos entrenados con aprendizaje por refuerzo a partir de feedback humano (RLHF) se volvían más difíciles de atacar a medida que crecían.
En la práctica, los equipos combinan tres enfoques. Los red teamers humanos, a menudo expertos en un dominio, escriben ataques creativos. Las herramientas automáticas generan muchas variantes de ataques conocidos, como jailbreaks y prompt injections, y puntúan las respuestas. Entre las opciones de código abierto están garak, PyRIT y promptfoo. Los hallazgos alimentan después el entrenamiento, los guardrails o cambios en el producto.
Red teaming frente a evaluación
La evaluación de LLM habitual pregunta lo bien que el sistema hace su trabajo con entradas típicas. El red teaming pregunta cómo falla con entradas hostiles. Hacen falta ambas, y los buenos hallazgos del red team suelen convertirse en casos de prueba permanentes.
Límites
Un red team puede demostrar que un problema existe; no puede demostrar que no quede ninguno. Los resultados dependen de la habilidad y la imaginación de los probadores y de cómo se despliega el modelo, así que una prueba de un modelo base dice poco sobre un agente construido sobre él con herramientas conectadas.
Términos relacionados
- Jailbreak (LLM)
- Un jailbreak es un prompt o una técnica que consigue que un modelo de lenguaje produzca una salida que su entrenamiento de seguridad debería rechazar, como instrucciones dañinas, mediante juegos de rol, ofuscación, codificaciones extrañas o textos adversarios largos.
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Prompt injection
- La prompt injection (inyección de prompts) es un ataque en el que un texto que recibe un modelo de lenguaje, escrito por un usuario u oculto en una página web, un archivo o el resultado de una herramienta, cambia el comportamiento del modelo de formas que su desarrollador no pretendía.
- Guardrails (IA)
- Los guardrails (barreras de protección) son comprobaciones en tiempo de ejecución colocadas alrededor de un modelo de lenguaje que inspeccionan entradas y salidas y las bloquean, reescriben o redirigen, para que una aplicación no se salga del tema, evite contenido dañino y cumpla reglas que el modelo por sí solo no mantendría de forma fiable.
- Alineamiento de la IA
- El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.