本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

ガードレール(AI)

ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。

別名: AI guardrails, rails

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

安全になるよう訓練されたモデルでも間違いはしますし、あなたの製品のルールについては何も知りません。ガードレールは、アプリケーションの中に別の制御の層を加えます。プロンプトがモデルに届く前、回答が返ってきた後、またはその両方で動きます。

仕組み

入力側のレールは、プロンプトインジェクションの試みを検出したり、PII の秘匿化で個人データを取り除いたり、製品で扱うべきでない話題を断ったりします。出力側のレールは、ハルシネーションを見つけるために取得した情報源と回答を照らし合わせたり、JSON がスキーマに合っているかを検証したり、有害なテキストをブロックしたりします。チェックには、単純なルールや正規表現、Llama Guard 4 のような小さな分類モデル、2 回目の LLM 呼び出しを使えます。

NeMo Guardrails の論文は、レールを、決まった対話の流れを保つ、有害な話題を避けるなど、モデルの出力を制御する方法として説明し、こうしたプログラム可能なレールを、学習中にモデルに組み込まれる安全性と区別しています。オープンソースのツールキットには NeMo Guardrails と Guardrails AI があります。選択肢の比較はガードレール工程のガイドにあります。

例

銀行のサポートボットに、指示を無視してほかの顧客の残高を一覧表示するよう求めるメッセージが届きます。入力側のレールがインジェクションのパターンを検知し、決まった断りの文を返します。モデルはそのリクエストを目にしません。

限界

ガードレールはリスクを減らしますが、なくしはしません。分類モデルは言い換えた攻撃を見逃し、無害なリクエストをブロックすることもあります。チェックが 1 つ増えるごとに、レイテンシーとコストが増えます。ガードレールは、範囲を絞ったエージェントの権限、テスト、監視と並ぶ 1 つの層として扱ってください。

関連用語

プロンプトインジェクション
プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。
PII redaction(個人情報のマスキング)
PII redaction(個人情報のマスキング)とは、テキストや画像をモデルに送る、ログに保存する、ほかの人に見せる前に、名前、電話番号、住所、カード番号などの個人を特定できる情報を検出し、削除または伏せ字にすることです。
ハルシネーション(AI)
ハルシネーション(hallucination)とは、流暢で自信ありげに聞こえるものの、誤っている、情報源に裏付けられていない、あるいは作り話である AI モデルの出力です。架空の引用文献、発言、統計、API の関数などがその例です。
ジェイルブレイク(LLM)
ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
AIレッドチーミング
AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。

出典