AIレッドチーミング
AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
別名: red team, red teaming
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
この言葉は、レッドチームが攻撃側を演じる軍事やセキュリティの演習に由来します。言語モデルで標的となるのは振る舞いです。システムを押し込んで、危険な指示を出させたり、データを漏らさせたり、ユーザーを侮辱させたり、すべきでない操作をさせたりできるか、ということです。
仕組み
Ganguli et al.は、有害な出力を発見、測定、削減するために言語モデルをレッドチーミングした初期の取り組みを説明しています。彼らは、人間のフィードバックによる強化学習(RLHF)で学習したモデルは、大きくなるほどレッドチーミングが難しくなることを発見しました。
実際には、チームは3つの方法を組み合わせます。人間のレッドチーマー、多くの場合はその分野の専門家が、創造的な攻撃を考えます。自動化ツールは、ジェイルブレイクやプロンプトインジェクションなど既知の攻撃の変種を大量に生成し、応答を採点します。オープンソースの選択肢にはgarak、PyRIT、promptfooがあります 。発見した問題は、学習、ガードレール、製品の変更にフィードバックされます。
レッドチーミングと評価の違い
通常のLLM評価は、典型的な入力に対してシステムがどれだけうまく仕事をこなすかを問います。レッドチーミングは、敵対的な入力に対してどう失敗するかを問います。両方が必要で、レッドチームの良い発見は恒久的なテストケースになることがよくあります。
限界
レッドチームは問題があることを示せますが、問題が残っていないことは証明できません。結果はテスターの技量と想像力、そしてモデルのデプロイ方法に左右されます。そのため、ベースモデルのテストからは、その上にツールを接続して作られたエージェントについてほとんど何もわかりません。
関連用語
- ジェイルブレイク(LLM)
- ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- プロンプトインジェクション
- プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。
- ガードレール(AI)
- ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。
- AI アライメント
- AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。