Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LlamaFirewall

O framework aberto da Meta para proteger agentes: um classificador de injeção, um auditor do raciocínio e um scanner de código atrás de um motor de políticas.

Análise de Sheela · Atualizado

Ver no GitHub Código aberto

Nossa nota

3.8/5

O artigo que o acompanha é o melhor argumento público a favor de proteções em camadas para agentes, mas o pacote não tem versão nova desde maio de 2025 e sua verificação mais forte depende de um modelo grande hospedado.

O que é LlamaFirewall?

LlamaFirewall é um framework em Python da Meta que roda scanners de segurança em pontos escolhidos do ciclo de um chatbot ou agente: na entrada do usuário, em conteúdo não confiável como páginas web e saídas de ferramentas, no raciocínio do agente e no código que ele escreve. Ele fica no repositório PurpleLlama, ao lado dos modelos Llama Guard da Meta e dos benchmarks CyberSecEval.

Ele traz quatro tipos de scanner. PromptGuard 2 é um classificador pequeno no estilo BERT para injeção direta de prompt e jailbreaks. AlignmentCheck pede a um modelo grande que leia a cadeia de pensamento do agente e aponte sequestro de objetivo ou injeção indireta. CodeShield é um analisador estático do código gerado, com regras de Semgrep e regex em oito linguagens. Scanners de regex e de prompts LLM personalizados cobrem segredos e regras da casa.

A instalação é pip install llamafirewall no Python 3.10 ou superior. Ele baixa seus modelos de proteção do Hugging Face (é preciso ter acesso aos modelos Llama) e tem exemplos para o OpenAI Agents SDK e o LangChain. Por padrão, o AlignmentCheck chama um modelo hospedado pela Together AI, então exige uma chave de API da Together. O código tem licença MIT; a última versão no PyPI, 1.0.3, saiu em 29 de maio de 2025.

LlamaFirewall vale a pena?

O valor do LlamaFirewall está nas evidências que vieram com ele. O artigo da Meta mediu cada camada no AgentDojo, um benchmark em que agentes fazem tarefas enquanto atacantes plantam instruções nas ferramentas. Sem proteção, 17.6% dos ataques tiveram sucesso. O PromptGuard 2 86M sozinho reduziu isso para 7.5% quase sem perder tarefas concluídas; o AlignmentCheck rodando no Llama 4 Maverick reduziu para 2.89%; os dois juntos chegaram a 1.75%, uma redução de mais de 90%, enquanto o sucesso nas tarefas caiu de 47.7% para 42.7%.

Esse equilíbrio é a lição útil. O classificador barato é rápido, 19.3 ms para o modelo 22M e 92.4 ms para o 86M numa A100 com 512 tokens, mas só enxerga texto que parece injeção. O AlignmentCheck pega sequestros mais sutis porque lê o que o agente está tentando fazer, e paga por isso: o rastro de exemplo do artigo mostra cerca de 860 ms e 1,490 ms por passo, e ele envia o raciocínio do agente ao provedor de modelos que você configurar.

O CodeShield é a força discreta. A Meta relata 96% de precisão e 79% de revocação em respostas rotuladas à mão, com cerca de 90% das entradas liberadas numa primeira etapa de uns 60 ms. Para um agente de programação que escreve e executa código, é uma checagem barata em mais de 50 classes de falha.

O porém: é uma publicação de pesquisa em manutenção. O pacote no PyPI continua na 1.0.3 de maio de 2025, e os commits recentes na pasta são correções automáticas de tipos e dependências. O README principal do PurpleLlama nem sequer o descreve. Os scanners são sólidos; conte com manter você mesmo o código de integração e as atualizações.

Nossa opinião: o LlamaFirewall rende mais como projeto de referência. As camadas PromptGuard 2 e CodeShield valem o uso como estão, e a ideia do AlignmentCheck vale ser copiada com o modelo grande que você já paga.

Onde ele se destaca

  • Um engenheiro de plataforma com um agente de navegação feito no OpenAI Agents SDK

    Impedir que instruções escondidas nas páginas baixadas desviem o agente

    Ligue o PromptGuard 2 em cada resultado de ferramenta e o AlignmentCheck em cada passo, partindo da demo de OpenAI Agents da Meta. Conte com dezenas de milissegundos para o classificador e cerca de um segundo por passo para a auditoria, além do custo em tokens da Together AI.

  • Uma equipe de ferramentas para desenvolvedores cujo agente de programação executa o que escreve

    Pegar código inseguro antes que o agente o execute ou faça commit

    Passe o CodeShield em cada trecho gerado. A maioria das entradas passa pela primeira etapa em cerca de 60 ms; o código sinalizado vai para uma segunda etapa mais lenta ou para uma pessoa.

  • Um arquiteto de segurança de um banco redigindo um padrão de proteção para agentes

    Justificar com números que checagem vai em cada ponto

    Cite os resultados do AgentDojo do artigo, 17.6% de ataques bem-sucedidos sem proteção contra 1.75% com as duas camadas, e a queda de 5 pontos nas tarefas concluídas, para definir o custo aceito de cada camada.

Antes de decidir

Configuração
pip install llamafirewall no Python 3.10+, aceite a licença Llama da Meta no Hugging Face, rode llamafirewall configure para baixar os modelos de proteção e exporte TOGETHER_API_KEY para o AlignmentCheck.
Integrações
API em Python com políticas de scanner por papel; exemplos para o OpenAI Agents SDK e agentes em LangChain ou LangGraph; scanners personalizados de regex e de prompts LLM.
Dados e privacidade
PromptGuard 2, CodeShield e os scanners de regex rodam na sua máquina. O AlignmentCheck envia a conversa e o raciocínio do agente ao provedor de modelos configurado, a Together AI por padrão.
Custo em escala
O framework é gratuito. As checagens do classificador e do CodeShield custam tempo de CPU ou GPU local; o AlignmentCheck custa uma chamada a um modelo grande por passo auditado, cobrada pelo seu provedor.
Limites
O PromptGuard 2 lê 512 tokens por vez; o artigo chama o AlignmentCheck de experimental; última versão do pacote em maio de 2025, com commits recentes limitados a manutenção automática.

O que é bom

  • Números publicados no AgentDojo para cada camada e para a combinação
  • Scanners para entrada, saídas de ferramentas, raciocínio do agente e código gerado
  • CodeShield: 96% de precisão no conjunto rotulado da Meta, primeira etapa de uns 60 ms
  • Licença MIT; exemplos para OpenAI Agents SDK e LangChain

O que não é

  • Nenhuma versão no PyPI desde a 1.0.3 de maio de 2025
  • O AlignmentCheck exige por padrão um modelo grande hospedado e uma chave de API da Together
  • O AlignmentCheck acrescenta cerca de um segundo por passo do agente
  • Não documentado no README principal do PurpleLlama

Ideal para

Equipes que constroem agentes com ferramentas, querem uma proteção em camadas que possam hospedar e conseguem manter um framework pouco polido.

Alternativas ao LlamaFirewall

LlamaFirewall: perguntas frequentes

LlamaFirewall vale a pena?
O artigo que o acompanha é o melhor argumento público a favor de proteções em camadas para agentes, mas o pacote não tem versão nova desde maio de 2025 e sua verificação mais forte depende de um modelo grande hospedado. Damos nota 3.8 de 5.
Quanto custa LlamaFirewall?
Gratuito sob licença MIT. PromptGuard 2 e CodeShield rodam localmente; o AlignmentCheck chama por padrão um modelo hospedado pela Together AI, cobrado pela Together.
Quais são as desvantagens de LlamaFirewall?
Nenhuma versão no PyPI desde a 1.0.3 de maio de 2025; o AlignmentCheck exige por padrão um modelo grande hospedado e uma chave de API da Together; o AlignmentCheck acrescenta cerca de um segundo por passo do agente; não documentado no README principal do PurpleLlama.
Para quem LlamaFirewall é indicado?
Equipes que constroem agentes com ferramentas, querem uma proteção em camadas que possam hospedar e conseguem manter um framework pouco polido.
Quanto custa LlamaFirewall para uma equipe ou em produção?
O framework é gratuito. As checagens do classificador e do CodeShield custam tempo de CPU ou GPU local; o AlignmentCheck custa uma chamada a um modelo grande por passo auditado, cobrada pelo seu provedor.
LlamaFirewall é seguro para dados da empresa?
PromptGuard 2, CodeShield e os scanners de regex rodam na sua máquina. O AlignmentCheck envia a conversa e o raciocínio do agente ao provedor de modelos configurado, a Together AI por padrão.
Quais são as melhores alternativas ao LlamaFirewall?
As alternativas mais próximas que analisamos são NVIDIA NeMo Guardrails e Guardrails AI.

Respostas verificadas em 6 de nov. de 2026.