Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Red teaming de IA

El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.

También llamado: red team, red teaming

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

El término procede de los ejercicios militares y de seguridad en los que un equipo rojo hace de atacante. En los modelos de lenguaje el objetivo es el comportamiento: ¿se puede empujar al sistema a dar instrucciones peligrosas, filtrar datos, insultar a los usuarios o realizar una acción que no debería?

Cómo funciona

Ganguli et al. describieron los primeros trabajos de red teaming de modelos de lenguaje para descubrir, medir y reducir las salidas dañinas. Observaron que los modelos entrenados con aprendizaje por refuerzo a partir de feedback humano (RLHF) se volvían más difíciles de atacar a medida que crecían.

En la práctica, los equipos combinan tres enfoques. Los red teamers humanos, a menudo expertos en un dominio, escriben ataques creativos. Las herramientas automáticas generan muchas variantes de ataques conocidos, como jailbreaks y prompt injections, y puntúan las respuestas. Entre las opciones de código abierto están garak, PyRIT y promptfoo. Los hallazgos alimentan después el entrenamiento, los guardrails o cambios en el producto.

Red teaming frente a evaluación

La evaluación de LLM habitual pregunta lo bien que el sistema hace su trabajo con entradas típicas. El red teaming pregunta cómo falla con entradas hostiles. Hacen falta ambas, y los buenos hallazgos del red team suelen convertirse en casos de prueba permanentes.

Límites

Un red team puede demostrar que un problema existe; no puede demostrar que no quede ninguno. Los resultados dependen de la habilidad y la imaginación de los probadores y de cómo se despliega el modelo, así que una prueba de un modelo base dice poco sobre un agente construido sobre él con herramientas conectadas.

Términos relacionados

Jailbreak (LLM)
Un jailbreak es un prompt o una técnica que consigue que un modelo de lenguaje produzca una salida que su entrenamiento de seguridad debería rechazar, como instrucciones dañinas, mediante juegos de rol, ofuscación, codificaciones extrañas o textos adversarios largos.
Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
Prompt injection
La prompt injection (inyección de prompts) es un ataque en el que un texto que recibe un modelo de lenguaje, escrito por un usuario u oculto en una página web, un archivo o el resultado de una herramienta, cambia el comportamiento del modelo de formas que su desarrollador no pretendía.
Guardrails (IA)
Los guardrails (barreras de protección) son comprobaciones en tiempo de ejecución colocadas alrededor de un modelo de lenguaje que inspeccionan entradas y salidas y las bloquean, reescriben o redirigen, para que una aplicación no se salga del tema, evite contenido dañino y cumpla reglas que el modelo por sí solo no mantendría de forma fiable.
Alineamiento de la IA
El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.

Fuentes