本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Abliteration(アブリテレーション)

Abliteration(アブリテレーション)は、言語モデルが要求を拒否しないようにする手法です。拒否を担う内部の単一の方向を見つけ、モデルがその方向に書き込めないように重みを編集します。再学習は不要です。

別名: refusal ablation, refusal direction removal, abliterated model

執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法

チャットモデルは指示に従い、有害な指示は拒否するように学習されています。2024年、Arditiらは、最大72Bパラメータの13のオープンなチャットモデルで、この拒否がモデル内部の活性化におけるただ一つの方向を通じて起きていることを示しました。その方向を消すとモデルは拒否しなくなり、加えると無害な要求でさえ拒否します。abliterationは、この発見をもとにした実践的な手順です。

仕組み

まず、有害なプロンプトと無害なプロンプトの2つのセットでモデルを実行し、最後のトークンでの活性化を記録します。2つの平均の差から各層の拒否方向の候補が得られ、最もうまく働くものを選びます。次に、residual streamに書き込む行列をその方向に対して直交化し、モデルの重みがその方向を生み出せないようにします。結果は通常のチェックポイントで、ほかのオープンウェイトモデルと同じように共有できます。

Abliterationとファインチューニングの違い

ファインチューニングは、例を使い勾配による更新で学習させて振る舞いを変えます。abliterationに必要なのは2つのプロンプトセットだけで、学習はいりません。既存の重みを一度だけ編集し、新しい振る舞いを教えるのではなく一つの振る舞いを取り除きます。ホワイトボックスの手法なので、重みを手元に持っているモデルにしか使えません。

品質へのコスト

論文はほかの能力への影響は小さいと報告していますが、結果はモデルによって異なります。Labonneの解説では、8BモデルのDaredevil-8Bにabliterationを適用するとベンチマークのスコアが下がりました。その後に軽いDPOの選好学習を行うと低下の大部分が回復しましたが、教師ありファインチューニングを追加するとモデルが壊れる可能性が高いと彼は注意しています。

リスク

abliterationは、ユーザーが慎重すぎると感じる要求だけでなく、すべての要求に対する拒否を取り除きます。Arditiらはこれをホワイトボックスのジェイルブレイクと位置づけ、安全性のためのファインチューニングがいかに脆いかを示すものだと述べています。abliterationを施したモデルには組み込みの拒否がないため、出力に対する制限はモデルの外側、つまりガードレールやレッドチーミングなどのテストで設ける必要があります。また、公開されたモデルの安全性学習は、重みを持つ人なら誰でも取り消せるということでもあります。

関連用語

ジェイルブレイク(LLM)
ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
オープンウェイトモデル
オープンウェイトモデル(open-weight model)とは、学習済みの重みが公開され、誰でもダウンロードして実行できるモデルです。学習コードや学習データ全体は含まれないことが多く、必ずしもオープンソースではありません。
AI アライメント
AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。
AIレッドチーミング
AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
ガードレール(AI)
ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。

出典