安全性・セキュリティ・評価
AIシステムがどう攻撃され、守られ、規制され、測定されるか。ベンチマークも含みます。
- Abliteration(アブリテレーション)
- Abliteration(アブリテレーション)は、言語モデルが要求を拒 否しないようにする手法です。拒否を担う内部の単一の方向を見つけ、モデルがその方向に書き込めないように重みを編集します。再学習は不要です。
- AI アライメント
- AI アライメント(AI alignment)とは、AI システムの振る舞いを、ユーザーや開発者が本当に意図していることに合わせる取り組みです。もっともらしいテキストを予測したり狭い指標を最適化したりするだけでなく、役に立ち、正直で、害を避けるようにします。
- AI サプライチェーン攻撃
- AI サプライチェーン攻撃(AI supply-chain attack)とは、AI アプリケーションを直接攻撃するのではなく、ダウンロードしたモデル、LoRA アダプター、データセット、Python パッケージ、MCP サーバー、エージェントスキルなど、アプリケーションが依存するものを通じて侵害する攻撃です。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、 多数のデータセットにわたる検索の品質などです。
- AI 透かし
- AI 透かし(AI watermarking)とは、AI モデルがテキスト、画像、音声、動画を生成する時点で、機械で検出できる隠れた信号を埋め込むことです。後でソフトウェアがそのコンテンツを AI 生成物だと識別できるようにします。
- AIME(ベンチマーク)
- AIME(American Invitational Mathematics Examination)は、0 から 999 までの整数で答える 15 問の米国の数学コンテストです。AI 企業は AIME 2025 などの過去問を、数学の推論能力を測るベンチマークとして使っています。
- AIエージェントのためのOAuth
- AIエージェントのためのOAuthとは、OAuth認可標準を使い、エージェントやMCPクライアントが、ユーザーのパスワードや範囲の広いAPIキーを持つ代わりに、限定的で取り消し可能なアクセストークンでユーザーに代わって操作できるようにすることです。
- AIレッドチーミング
- AIレッドチーミング(AI red teaming)とは、公開の前後に、人間のテスターや自動化ツールでモデルやAIアプリケーションを意図的に攻撃し、有害な出力、ジェイルブレイク、インジェクションなどの不具合を見つけて修正できるようにすることです。
- ARC-AGI
- ARC-AGI は、François Chollet が始め、ARC Prize が運営する一連のベンチマークです。AI システムが見たことのない新しい推論パズルを解けるかを試し、何を知っているかではなく、どれだけ効率よく学ぶかを測ります。
- Artificial Analysis Intelligence Index
- Artificial Analysis Intelligence Index は、ベンチマーク企業の Artificial Analysis が算出する総合スコアです。知識労働、コーディング、科学、一般知識にわたる複数の評価を 1 つの数値にまとめ、言語モデルの比較に使います。
- BrowseComp
- BrowseComp は、1,266 問の難しい質問からなる OpenAI のベンチマークです。ブラウジングエージェントが、入り組んで見つけにくい事実を求めて粘り強くウェブを検索できるかを試します。答えは短く、確 認しやすいものです。
- C2PA コンテンツクレデンシャル
- C2PA コンテンツクレデンシャル(C2PA content credentials)とは、Coalition for Content Provenance and Authenticity のオープン標準で定められた、署名付きの来歴の記録です。画像、動画、音声ファイル、文書と一緒に移動し、その出どころと編集の経緯を記録します。
- Elo レーティング(モデルアリーナ)
- モデルアリーナにおける Elo レーティング(Elo rating)とは、モデルのペアどうしの多数の一対一の投票から計算するスコアです。2 つのスコアの差から、一方のモデルの回答がもう一方よりどれくらいの頻度で好まれるかを予測できます。
- EU AI Act
- EU AI Act(規則(EU)2024/1689)は、人工知能に関する欧州連合の法律です。AI システムを開発、導入する者に対して、全面的な禁止から透明性の義務まで、リスクに基づくルールを定めており、2025 年から段階的に適用されます。
- GPQA
- GPQA(Graduate-Level Google-Proof Q&A)は、生物学、物理学、化学の難しい多肢選択問題 448 問からなるベンチマークです。専門家が作成しており、熟練した非専門家はウェブ検索を無制限に使っても答えられないようになっています。
- HumanEval
- HumanEval は、OpenAI が 2021 年に公開したコード生成のベンチマークです。手書きで作られた 164 問の Python の問題からなり、それぞれに関数のシグネチャ、docstring、ユニットテストがあります。モデルが実際に動くコードを書けるかを確かめるために使います。
- Humanity's Last Exam
- Humanity's Last Exam(HLE)は、数十の科目にわたる、専門家が作成した 2,500 問からなるベンチマークです。AI モデルにとって非常に難しくなるよう作られており、答えは明確で確認できるものの、オンラインですぐには見つかりません。
- LLM observability(LLMオブザーバビリティ)
- LLM observability(LLMオブザーバビリティ、可観測性)とは、本番環境でAIアプリケーションが行うこと、つまりプロンプト、応答、ツー ル呼び出し、レイテンシ、トークン使用量、コストを、検索できるトレースとして記録することです。これにより障害をデバッグし、システムの挙動を長期的に把握できます。
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- LLM-as-a-judge
- LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
- LMArena
- LMArenaは、当初Chatbot Arenaとして知られた公開プラットフォームで、クラウドソーシングによる人間の投票でAIモデルをランク付けします。ユーザーは同じプロンプトに答える匿名の2つのモデルを見て、より良い応答を選びます。
- MMLU
- MMLU(Massive Multitask Language Understanding)とは、初等数学や米国史から法律、コンピューターサイエンスまで57科目を対象とする多肢選択式のベンチマークで、言語モデルの幅広い知識と問題解決能力を測ります。
- MTEB
- MTEB(Massive Text Embedding Benchmark)とは、テキスト埋め込みモデルを、検索、クラスタリング、分類、リランキングなど多くの種類のタスクで、多数のデータセットと言語にわたって評価する公開ベンチマークとリーダーボードです。
- OSWorld
- OSWorldとは、Ubuntu、Windows、macOSなどの実際のOSを動かし、Webアプリとデスクトップアプリにわたる369の自由形式のタスクで、スクリプトによる判定でエージェントを採点するcomputer-useエージェント向けのベンチマークです。
- pass@k
- pass@kとは、コードのベンチマークで使われる指標で、1つの問題に対して生成したk個の解のうち少なくとも1つがユニットテストに合格する確率を示します。pass@1は、1回の試行で成功す る確率です。
- PII redaction(個人情報のマスキング)
- PII redaction(個人情報のマスキング)とは、テキストや画像をモデルに送る、ログに保存する、ほかの人に見せる前に、名前、電話番号、住所、カード番号などの個人を特定できる情報を検出し、削除または伏せ字にすることです。
- SOC 2
- SOC 2とは、外部のCPA監査法人がAICPAの基準に基づいて作成する監査報告書で、サービス組織のセキュリティ、可用性、処理のインテグリティ、機密保持、プライバシーに関わる統制を対象とします。
- SWE-bench
- SWE-benchとは、人気のあるPythonプロジェクトの実際のGitHub issueから作られたコーディングのベンチマークです。モデルやエージェントはリポジトリを編集し、issueを修正して、プロジェクトの隠されたテストに合格させなければなりません。
- Terminal-Bench
- Terminal-Benchとは、コマンドラインの ターミナルで作業するAIエージェントのためのベンチマークです。各タスクではエージェントに実際の環境が与えられ、作業が本当に完了したかを確認するテストで採点されます。
- τ-bench
- τ-bench(tau-bench)とは、模擬的なカスタマーサービスの会話でAIエージェントをテストするベンチマークです。言語モデルがユーザーを演じ、エージェントは文書化されたポリシーのルールに従いながら、分野ごとのAPIツールを使わなければなりません。
- エージェントの権限
- エージェントの権限(agent permissions)とは、AI エージェントがどのツール、ファイル、コマンド、ネットワーク、アカウントを使えるか、どの操作に事前の人の承認が必要かを決めるルールです。誤ったり操作されたりしたエージェントが与える被害を限定します。
- ガードレール(AI)
- ガードレール(guardrails)とは、言語モデルの周りに置く実行時のチェックです。入力と出力を調べ、ブロックしたり、書き換えたり、別の経路に回したりします。これにより、アプリケーションが話題から外れず 、有害なコンテンツを避け、モデルだけでは確実に守れないルールに従うようにします。
- ゴールデンデータセット
- ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
- ジェイルブレイク(LLM)
- ジェイルブレイク(jailbreak)とは、ロールプレイ、難読化、変わったエンコーディング、長い敵対的なテキストなどによって、安全性の訓練で拒否するはずの出力(有害な手順など)を言語モデルに生成させるプロンプトや手法です。
- ゼロデータ保持(ZDR)
- ゼロデータ保持(zero data retention、ZDR)とは、AIプロバイダーが、リクエストに応答した後に顧客のプロンプトと出力を保持しない取り決めです。通常は承認された顧客にだけ、対象となるAPIの機能に限って提供されます。
- ツールポイズニング
- ツールポイズニング(tool poisoning)とは、悪意のあるツール、多くの場合はMCPサーバーが、ツールの説明やメタデータに指示を隠す攻撃です。AIモデルはそれを指針として読み、ユーザーが気付かないうちにデータを漏らしたり、ほかのツールを悪用したりすることがあります。
- データレジデンシー
- データレジデンシー(data residency)とは、顧客のデータを EU など選んだ地理的な地域で保存し、多くの場合は処理もするための管理の仕組みです。データの所在地に関する法律、契約、顧客のルールを満たすために使います。
- データ流出(AI エージェント)
- AI エージェントにおけるデータ流出(data exfiltration)とは、攻撃者がエージェントをだまし、エージェントがアクセスできる非公開のデータを読ませて、ウェブリクエスト、メール、画像リンク、その他攻撃者が制御する経路で外部に送らせることです。
- ディープフェイク
- ディープフェイク(deepfake)とは 、AI で作成または改変され、実在の人物、場所、出来事を、実際には起きていない形で本物らしく見せ、本物として通用しうる画像、音声、動画のコンテンツです。
- プロンプトインジェクション
- プロンプトインジェクション(prompt injection)とは、ユーザーが入力した、あるいはWebページ、ファイル、ツールの結果に隠されたテキストが言語モデルに渡され、開発者が意図しない形でモデルの挙動を変える攻撃です。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
- モデルカード
- モデルカード(model card)とは、機械学習モデルとともに公開される短い文書で、そのモデルの用途、学習と評価の方法、性能が低い領域、使うべき場面と使うべきでない場面を説明します。
- リーダーボード(AI)
- AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。
- 人による評価
- 人による評価(human evaluation)とは、自動化された指標ではなく人によって AI の出力を判定することです。たとえば評価者がルーブリックに沿って回答を採点したり、ブラインドテストで匿名の 2 つの回答のうちよいほうを選んだりします。
- 回帰テスト(LLMアプリ)
- LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。