本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

LlamaFirewall

エージェント向けのMetaのオープンなガードレール基盤です。インジェクション分類器、推論の監査、コードスキャナーを1つのポリシーエンジンで束ねます。

レビュー: Sheela · 更新

GitHubで見る オープンソース

当サイトの評価

3.8/5

付属の論文は多層的なエージェント防御を支持する公開資料として最も説得力がありますが、パッケージは2025年5月以来リリースがなく、最も強力なチェックは大きなホスト型モデルに頼ります。

LlamaFirewallとは?

LlamaFirewallは、チャットボットやエージェントの処理の中で選んだ地点にセキュリティスキャナーを走らせる、MetaのPythonフレームワークです。対象はユーザー入力、ウェブページやツール出力のような信頼できないコンテンツ、エージェントの推論、そしてエージェントが書くコードです。PurpleLlamaリポジトリの中に、MetaのLlama GuardモデルやCyberSecEvalベンチマークと並んで置かれています。

スキャナーは4種類です。PromptGuard 2は、直接のプロンプトインジェクションとジェイルブレイクを見つける小さなBERT系の分類器です。AlignmentCheckは大きなモデルにエージェントの思考の連鎖を読ませ、目的の乗っ取りや間接的なインジェクションを指摘させます。CodeShieldは生成されたコードの静的解析器で、8つの言語でSemgrepと正規表現のルールを使います。正規表現とカスタムのLLMプロンプトによるスキャナーで、機密情報や社内ルールにも対応します。

Python 3.10以降でpip install llamafirewallでインストールし、ガードモデルはHugging Faceから取得します(Llamaモデルへのアクセス権が必要です)。OpenAI Agents SDKとLangChainの例も付いています。AlignmentCheckは既定でTogether AI経由のホスト型モデルを呼ぶため、TogetherのAPIキーが要ります。コードはMITライセンスで、PyPIの最新版1.0.3は2025年5月29日に公開されました。

LlamaFirewallは使う価値があるか?

LlamaFirewallの価値は、一緒に公開された根拠にあります。Metaの論文は各層をAgentDojoで測りました。これは、攻撃者がツールに指示を仕込む中でエージェントがタスクをこなすベンチマークです。防御なしでは攻撃の17.6%が成功しました。PromptGuard 2 86Mだけでこれが7.5%に下がり、タスク達成はほとんど落ちませんでした。Llama 4 Maverickで動かすAlignmentCheckでは2.89%に、両方を組み合わせると1.75%になり、90%を超える削減です。その一方で、タスクの成功率は47.7%から42.7%に下がりました。

このトレードオフこそが役に立つ教訓です。安い分類器は速く、A100で512トークンの場合、22Mモデルで19.3 ms、86Mで92.4 msです。ただし、インジェクションらしく見える文章しか捉えません。AlignmentCheckはエージェントが何をしようとしているかを読むので、より巧妙な乗っ取りも捉えますが、その分の代償があります。論文の例では1ステップあたり約860 msと1,490 msかかり、エージェントの推論を設定したモデル提供元に送ります。

CodeShieldは目立たない強みです。Metaによると、手作業でラベル付けした補完で適合率96%、再現率79%で、入力の約90%は約60 msの1段目で処理が終わります。コードを書いて実行するコーディングエージェントにとって、50を超える脆弱性の種類を安く確認できる手段です。

注意点:これは保守段階に入った研究成果の公開です。PyPIのパッケージは2025年5月の1.0.3のままで、フォルダへの最近のコミットは型チェックと依存関係の自動修正です。PurpleLlamaのトップのREADMEには説明すらありません。スキャナー自体はしっかりしていますが、つなぎのコードと更新は自分で面倒を見る前提です。

結論:LlamaFirewallは参照用の設計として読むのが一番です。PromptGuard 2とCodeShieldの層はそのまま使う価値があり、AlignmentCheckの考え方は、すでに料金を払っている大きなモデルで真似る価値があります。

真価を発揮する場面

  • OpenAI Agents SDKでブラウジングエージェントを動かすプラットフォームエンジニア

    取得したページに隠された指示でエージェントが乗っ取られるのを防ぐ

    MetaのOpenAI Agentsのデモを出発点に、すべてのツール結果にPromptGuard 2を、各ステップにAlignmentCheckを組み込みます。分類器で数十ミリ秒、整合性の監査で1ステップ約1秒、加えてTogether AIのトークン料金がかかると見込んでください。

  • 書いたコードをそのまま実行するコーディングエージェントを持つ開発者ツールのチーム

    エージェントが実行やコミットをする前に危険なコードを見つける

    生成されたコード片すべてにCodeShieldをかけます。大半の入力は約60 msで1段目を通過し、指摘されたコードはより遅い2段目か人の確認に回します。

  • エージェントの防御基準を起草する銀行のセキュリティアーキテクト

    どのチェックをどこに置くかを数字で説明する

    論文のAgentDojoの結果、つまり防御なしで攻撃成功率17.6%、両方の層で1.75%という数字と、タスク達成率が5ポイント下がる点を引用し、各層に許容するコストを決めます。

導入前に確認すること

導入
Python 3.10+でpip install llamafirewallを実行し、Hugging FaceでMetaのLlamaライセンスに同意して、llamafirewall configureでガードモデルを取得し、AlignmentCheck用にTOGETHER_API_KEYを設定します。
連携
役割ごとのスキャナーポリシーを持つPython API。OpenAI Agents SDKと、LangChainまたはLangGraphのエージェントの例。カスタムの正規表現スキャナーとLLMプロンプトスキャナー。
データとプライバシー
PromptGuard 2、CodeShield、正規表現スキャナーは自分のマシンで動きます。AlignmentCheckは会話とエージェントの推論を、設定したモデル提供元(既定はTogether AI)に送ります。
大規模利用時のコスト
フレームワークは無料です。分類器とCodeShieldのチェックはローカルのCPUかGPUの時間を使います。AlignmentCheckは監査するステップごとに大きなモデルを1回呼び、提供元から請求されます。
制限
PromptGuard 2は一度に512トークンを読みます。論文はAlignmentCheckを実験的と位置づけています。パッケージの最終リリースは2025年5月で、最近のコミットは自動の保守作業に限られます。

良い点

  • 各層と組み合わせについてAgentDojoの数値を公開
  • 入力、ツール出力、エージェントの推論、生成コードのそれぞれにスキャナー
  • CodeShield:Metaのラベル付きデータで適合率96%、1段目は約60 ms
  • MITライセンス、OpenAI Agents SDKとLangChainの例あり

気になる点

  • 2025年5月の1.0.3以降、PyPIのリリースなし
  • AlignmentCheckは既定で大きなホスト型モデルとTogetherのAPIキーが必要
  • AlignmentCheckはエージェントの1ステップごとに約1秒かかる
  • PurpleLlamaのトップのREADMEに記載がない

おすすめの人

ツールを使うエージェントを作り、自前でホストできる多層防御が欲しく、荒削りなフレームワークを保守できるチーム。

LlamaFirewallの代替

LlamaFirewall:よくある質問

LlamaFirewallは使う価値があるか?
付属の論文は多層的なエージェント防御を支持する公開資料として最も説得力がありますが、パッケージは2025年5月以来リリースがなく、最も強力なチェックは大きなホスト型モデルに頼ります。 評価は5点満点中3.8点です。
LlamaFirewallの料金は?
MITライセンスで無料です。PromptGuard 2とCodeShieldはローカルで動きます。AlignmentCheckは既定でTogether AI経由のホスト型モデルを呼び、その料金はTogetherが請求します。
LlamaFirewallの欠点は?
2025年5月の1.0.3以降、PyPIのリリースなし; AlignmentCheckは既定で大きなホスト型モデルとTogetherのAPIキーが必要; AlignmentCheckはエージェントの1ステップごとに約1秒かかる; PurpleLlamaのトップのREADMEに記載がない.
LlamaFirewallは誰に向いているか?
ツールを使うエージェントを作り、自前でホストできる多層防御が欲しく、荒削りなフレームワークを保守できるチーム。
チームや本番環境でLlamaFirewallを使うと費用はいくらか?
フレームワークは無料です。分類器とCodeShieldのチェックはローカルのCPUかGPUの時間を使います。AlignmentCheckは監査するステップごとに大きなモデルを1回呼び、提供元から請求されます。
LlamaFirewallは企業データを扱っても安全か?
PromptGuard 2、CodeShield、正規表現スキャナーは自分のマシンで動きます。AlignmentCheckは会話とエージェントの推論を、設定したモデル提供元(既定はTogether AI)に送ります。
LlamaFirewallの代わりになるものは?
当サイトでレビューした中で最も近い代替はNVIDIA NeMo Guardrails 、 Guardrails AIです。

回答確認日:2026年11月6日