本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

プロンプトインジェクション

プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。

別名: indirect prompt injection, direct prompt injection

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

LLMは指示とデータを、テキストという同じ経路で読みます。モデルは、開発者のシステムプロンプトと、要約を頼まれたメールに攻撃者が仕込んだ文とを確実には区別できません。OWASPは、LLMアプリケーション向けのTop 10の1番目にプロンプトインジェクションを挙げています。

直接型と間接型

直接型のインジェクションでは、ユーザーが攻撃を入力します。たとえば、ボットにそれまでの指示を無視するよう求めます。間接型のインジェクションでは、攻撃はモデルが処理するコンテンツの中に紛れて届きます。Webページ、PDF、コードのコメント、カレンダーの招待、MCPツールの説明などです。ユーザーはそれを目にしないこともあります。Greshake et al.は、LLMを組み込んだアプリケーションではデータと指示の境界があいまいになり、攻撃者が直接のアクセスなしにモデルに到達できることを示しました。

エージェントにとって重要な理由

テキストを書くだけのチャットボットなら、恥をかく程度で済みます。ファイルを読み、APIを呼び、メッセージを送れるエージェントは、操られて行動に移してしまうことがあります。最悪のケースは、インジェクションとデータ流出の組み合わせです。仕込まれたテキストがエージェントに、非公開のデータを集めてどこかに送るよう指示します。ツールポイズニングは、ツールのメタデータを通じて届く間接型インジェクションの一種です。

ジェイルブレイクとの違い

ジェイルブレイクは、モデル自身の安全性に関する学習を破らせようとするものです。プロンプトインジェクションは、アプリケーションの指示を上書きしようとするものです。手法は重なり合い、同じテキストが両方を行うこともあります。

防御

現時点で完全な対策はありません。一般的な層としては、入力と出力のガードレール、信頼できないコンテンツを明確に分けておくこと、範囲を絞ったエージェントの権限、エージェントサンドボックス、機微な操作の前の人による承認があります。緩和策の完全な一覧はOWASPの項目をご覧ください。

関連用語

ジェイルブレイク(LLM)
ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
データ流出(AI エージェント)
AI エージェントにおけるデータ流出(data exfiltration)とは、攻撃者がエージェントをだまし、エージェントがアクセスできる非公開のデータを読ませて、ウェブリクエスト、メール、画像リンク、その他攻撃者が制御する経路で外部に送らせることです。
エージェントサンドボックス
エージェントサンドボックス(agent sandbox)とは、コンテナ、仮想マシン、オペレーティングシステムの制限などによる隔離された環境です。AI エージェントはその中でコードやコマンドを実行し、決められた範囲の外にあるファイル、ネットワーク、データには届きません。
ツールポイズニング
ツールポイズニング(tool poisoning)とは、悪意のあるツール、多くの場合はMCPサーバーが、ツールの説明やメタデータに指示を隠す攻撃です。AIモデルはそれを指針として読み、ユーザーが気付かないうちにデータを漏らしたり、ほかのツールを悪用したりすることがあります。
ガードレール(AI)
ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。

出典