Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

LlamaFirewall

El marco abierto de Meta para proteger agentes: un clasificador de inyecciones, un auditor del razonamiento y un escáner de código tras un único motor de políticas.

Reseña de Sheela · Actualizado

Ver en GitHub Código abierto

Nuestra nota

3.8/5

El artículo que lo acompaña es la mejor defensa pública de las protecciones por capas para agentes, pero el paquete no publica versión desde mayo de 2025 y su comprobación más fuerte depende de un modelo grande alojado.

¿Qué es LlamaFirewall?

LlamaFirewall es un marco de Python de Meta que ejecuta escáneres de seguridad en puntos elegidos del ciclo de un chatbot o un agente: en la entrada del usuario, en contenido no fiable como páginas web y resultados de herramientas, en el razonamiento del agente y en el código que escribe. Vive en el repositorio PurpleLlama junto a los modelos Llama Guard de Meta y los benchmarks CyberSecEval.

Incluye cuatro tipos de escáner. PromptGuard 2 es un clasificador pequeño de estilo BERT para inyección directa de prompts y jailbreaks. AlignmentCheck pide a un modelo grande que lea la cadena de pensamiento del agente y señale secuestros de objetivo o inyecciones indirectas. CodeShield es un analizador estático del código generado, con reglas de Semgrep y expresiones regulares en ocho lenguajes. Los escáneres de regex y de prompts LLM personalizados cubren secretos y normas propias.

Se instala con pip install llamafirewall en Python 3.10 o posterior, descarga sus modelos de guarda desde Hugging Face (hace falta acceso a los modelos Llama) y trae ejemplos para el OpenAI Agents SDK y LangChain. AlignmentCheck llama por defecto a un modelo alojado a través de Together AI, así que necesita una clave de API de Together. El código tiene licencia MIT; la última versión en PyPI, la 1.0.3, salió el 29 de mayo de 2025.

¿Merece la pena LlamaFirewall?

El valor de LlamaFirewall está en las pruebas que trajo consigo. El artículo de Meta midió cada capa en AgentDojo, un benchmark de agentes que hacen tareas mientras un atacante planta instrucciones en sus herramientas. Sin protección, tuvo éxito el 17.6% de los ataques. PromptGuard 2 86M por sí solo lo bajó al 7.5% casi sin perder tareas completadas; AlignmentCheck sobre Llama 4 Maverick lo bajó al 2.89%; las dos juntas llegaron al 1.75%, una reducción de más del 90%, mientras el éxito en las tareas caía del 47.7% al 42.7%.

Ese equilibrio es la lección útil. El clasificador barato es rápido, 19.3 ms para el modelo 22M y 92.4 ms para el 86M en una A100 con 512 tokens, pero solo ve el texto que parece una inyección. AlignmentCheck detecta secuestros más sutiles porque lee lo que el agente intenta hacer, y lo paga: la traza de ejemplo del artículo muestra unos 860 ms y 1,490 ms por paso, y envía el razonamiento del agente al proveedor de modelos que configures.

CodeShield es la fortaleza discreta. Meta informa de un 96% de precisión y un 79% de exhaustividad en respuestas etiquetadas a mano, y alrededor del 90% de las entradas se despachan en una primera pasada de unos 60 ms. Para un agente de programación que escribe y ejecuta código, es una comprobación barata sobre más de 50 clases de vulnerabilidad.

La pega: es una versión de investigación en mantenimiento. El paquete de PyPI sigue en la 1.0.3 de mayo de 2025, y los commits recientes de la carpeta son correcciones automáticas de tipos y dependencias. El README principal de PurpleLlama ni siquiera lo describe. Los escáneres son sólidos; cuenta con mantener tú el código de unión y las actualizaciones.

Nuestra opinión: LlamaFirewall funciona mejor como diseño de referencia. Sus capas PromptGuard 2 y CodeShield merecen usarse tal cual, y la idea de AlignmentCheck merece copiarse con el modelo grande que ya pagas.

Dónde se gana su sitio

  • Un ingeniero de plataforma con un agente de navegación hecho con el OpenAI Agents SDK

    Evitar que instrucciones ocultas en las páginas descargadas desvíen al agente

    Conecta PromptGuard 2 a cada resultado de herramienta y AlignmentCheck a cada paso, partiendo de la demo de OpenAI Agents de Meta. Cuenta con que el clasificador añada decenas de milisegundos y la auditoría de alineación alrededor de un segundo por paso, más el coste en tokens de Together AI.

  • Un equipo de herramientas para desarrolladores cuyo agente de programación ejecuta lo que escribe

    Detectar código inseguro antes de que el agente lo ejecute o lo confirme

    Pasa CodeShield por cada fragmento generado. La mayoría de las entradas superan la primera pasada en unos 60 ms; el código señalado va a un segundo nivel más lento o a una persona.

  • Un arquitecto de seguridad de un banco que redacta una norma de protección para agentes

    Justificar con cifras qué comprobaciones van en cada punto

    Cita los resultados de AgentDojo del artículo, un 17.6% de ataques con éxito sin protección frente al 1.75% con ambas capas, y la caída de 5 puntos en tareas completadas, para fijar el coste aceptado de cada capa.

Antes de decidirte

Puesta en marcha
pip install llamafirewall en Python 3.10+, acepta la licencia Llama de Meta en Hugging Face, ejecuta llamafirewall configure para descargar los modelos de guarda y exporta TOGETHER_API_KEY para AlignmentCheck.
Integraciones
API de Python con políticas de escáner por rol; ejemplos para el OpenAI Agents SDK y agentes de LangChain o LangGraph; escáneres personalizados de regex y de prompts LLM.
Datos y privacidad
PromptGuard 2, CodeShield y los escáneres de regex se ejecutan en tu máquina. AlignmentCheck envía la conversación y el razonamiento del agente al proveedor de modelos configurado, Together AI por defecto.
Coste a escala
El marco es gratis. Las comprobaciones del clasificador y de CodeShield cuestan tiempo de CPU o GPU local; AlignmentCheck cuesta una llamada a un modelo grande por paso auditado, facturada por tu proveedor.
Límites
PromptGuard 2 lee 512 tokens cada vez; el artículo califica AlignmentCheck de experimental; última versión del paquete en mayo de 2025, con commits recientes limitados a mantenimiento automático.

Lo bueno

  • Cifras publicadas en AgentDojo para cada capa y para la combinación
  • Escáneres para la entrada, los resultados de herramientas, el razonamiento del agente y el código generado
  • CodeShield: 96% de precisión en el conjunto etiquetado de Meta, primera pasada de unos 60 ms
  • Licencia MIT; ejemplos para OpenAI Agents SDK y LangChain

Lo malo

  • Sin versión en PyPI desde la 1.0.3 de mayo de 2025
  • AlignmentCheck necesita por defecto un modelo grande alojado y una clave de API de Together
  • AlignmentCheck añade alrededor de un segundo por paso del agente
  • No aparece en el README principal de PurpleLlama

Ideal para

Equipos que construyen agentes con herramientas y quieren una protección por capas que puedan alojar, y que pueden mantener un marco poco pulido.

Alternativas a LlamaFirewall

LlamaFirewall: preguntas frecuentes

¿Merece la pena LlamaFirewall?
El artículo que lo acompaña es la mejor defensa pública de las protecciones por capas para agentes, pero el paquete no publica versión desde mayo de 2025 y su comprobación más fuerte depende de un modelo grande alojado. Le damos un 3.8 sobre 5.
¿Cuánto cuesta LlamaFirewall?
Gratis con licencia MIT. PromptGuard 2 y CodeShield se ejecutan en local; AlignmentCheck llama por defecto a un modelo alojado a través de Together AI, que factura Together.
¿Qué inconvenientes tiene LlamaFirewall?
Sin versión en PyPI desde la 1.0.3 de mayo de 2025; alignmentCheck necesita por defecto un modelo grande alojado y una clave de API de Together; alignmentCheck añade alrededor de un segundo por paso del agente; no aparece en el README principal de PurpleLlama.
¿Para quién es LlamaFirewall?
Equipos que construyen agentes con herramientas y quieren una protección por capas que puedan alojar, y que pueden mantener un marco poco pulido.
¿Cuánto cuesta LlamaFirewall para un equipo o en producción?
El marco es gratis. Las comprobaciones del clasificador y de CodeShield cuestan tiempo de CPU o GPU local; AlignmentCheck cuesta una llamada a un modelo grande por paso auditado, facturada por tu proveedor.
¿Es LlamaFirewall seguro para los datos de la empresa?
PromptGuard 2, CodeShield y los escáneres de regex se ejecutan en tu máquina. AlignmentCheck envía la conversación y el razonamiento del agente al proveedor de modelos configurado, Together AI por defecto.
¿Cuáles son las mejores alternativas a LlamaFirewall?
Las alternativas más cercanas que hemos analizado son NVIDIA NeMo Guardrails y Guardrails AI.

Respuestas comprobadas el 6 nov 2026.