AI アライメント
AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。
別名: alignment, model alignment
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
次の単語を予測するだけの訓練を受けたモデルは、インターネットを模倣することを学びます。その誤りや最悪の内容も含めてです。InstructGPT の論文はこの問題をはっきり述べています。言語モデルを大きくしても、それだけではユーザーの意図に従うのがうまくなるわけではなく、そうしたモデルは不正確だったり、有害だったり、役に立たなかったりすることがあります。その意味で、ユーザーとアライメントが取れていないのです。
現在のモデルのアライメントの方法
ほとんどのチャットモデルは、事前学習の後に事後学習を受けます。まず、よい回答の例を使った教師ありファインチューニングです。次に選好学習です。人が回答のペアを順位付けし、報酬モデルを使う RLHF、または DPO のような手法で直接、好まれた回答に近づくようにモデルを調整します。各社はモデルに従わせるルー ルや原則も書き、レッドチーミングで結果を検証します。
2 つの意味
製品開発では、アライメントは通常、上記の実用的な目標を指します。指示に従い、明らかに有害な要求は断り、不確かなことは不確かだと認めるモデルです。AI 安全性の研究では、より長期的な問いも含みます。目標を明確に定めるのが難しく、システムが抜け道を見つけるかもしれないときに、はるかに高い能力を持つシステムに人が意図した目標を追わせ続けるにはどうすればよいか、という問いです。2 つは重なりますが、同じではありません。
限界
アライメントの訓練が変えるのは振る舞いで、根底にある知識ではありません。また、回避されることがあります。ジェイルブレイクはアライメントに穴がある証拠です。選好学習は、正しくあることよりも、たとえば同調的だったり冗長だったりすることで評価者を喜ばせることをモデルに教えてしまう場合もあります。そのため、アプリケーションは今でもその上に独自のガードレールと評価を加えています。
関連用語
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- AIレッドチーミング
- AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
- 直接選好最適化(DPO)
- 直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、言語モデルを人の選好に合わせる方法です。
- 報酬モデル
- 報酬モデル(reward model)とは、人間の選好データで学習し、応答がどれだけ良いかを採点する別個のモデルです。その後、強化学習がそのスコアを使って、人が好む回答に向けて言語モデルを調整します。
- ジェイルブレイク(LLM)
- ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。