ジェイルブレイク(LLM)
ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
別名: jailbreaking, LLM jailbreak
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
この言葉は、スマートフォンやゲーム機の制限を解除することから来ています。LLM の場合は何もインストールも改造もしません。攻撃者はテキストを書くだけです。よくあるパターンには、ルールのないキャラクターを演じるようモデルに頼む、禁止された依頼を無害に見える部分に分ける、別の言語やエンコーディングで書く、機械が生成した文字列を付け加えてモデルに拒否を越えさせる、といったものがあります。
なぜ通用するのか
Wei、Haghtalab、Steinhardt は安全性の訓練が失敗する理由を研究し、2 つの原因を挙げました。1 つは目的の競合です。モデルは役に立つことと拒否することの両方を訓練されており、巧妙なプロンプトはその 2 つの目標を対立させます。もう 1 つは汎化の不一致です。安全性の訓練は、モデルが能力を持つすべての領域をカバーしていないので、珍しい形で表現された依頼はすり抜けてしまいます。
ジェイルブレイクとプロンプトインジェクションの違い
この 2 つはよく混同されます。ジェイルブレイクはモデル自身の安全上のルールを標的とし、通常はモデルと話しているユーザーが行います。プロンプトインジェクションはアプリケーションの指示を標的とし、多くの場合、第三者がモデルの読むコンテン ツに仕込みます。1 つの攻撃が両方であることもあります。インジェクションを仕込んだウェブページにジェイルブレイクが含まれている場合などです。
開発者がとる対策
モデルの提供元は既知のジェイルブレイクに対処していますが、新しいものが次々に現れるので、アプリケーションは入力と出力の分類器など独自のガードレールを加えます。チームは PyRIT や promptfoo などのツールを使い、リリース前にレッドチーミングで弱点を探します。ジェイルブレイクは、不完全なアライメントの症状です。モデルの振る舞いが、開発者の意図と完全には一致していないのです。
関連用語
- プロンプトインジェクション
- プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意 図しない形でモデルの挙動を変える攻撃です。
- AIレッドチーミング
- AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
- ガードレール(AI)
- ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。
- AI アライメント
- AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。
- Abliteration(アブリテレーション)
- Abliteration(アブリテレーション)は、言語モデルが要求を拒否しないようにする手法です。拒否を担う内部の単一の方向を見つけ、モデルがその方向に書き込めないように重みを編集します。再学習は不要です。