ゴールデンデータセット
ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。
別名: ground truth, test set, golden set, eval set
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
比べる基準がなければ、プロンプトやモデルの変更で状況がよくなったかどうかはわかりません。ゴールデンデータセットはその物差しです。実際の入力の一覧で、それぞれに期待される出力か、よい出力とはどんなものかのルールが付いています。評価のたびに、同じ一覧に対してシステムを採点します。
何を入れるか
よいゴールデンセットは実際の利用から作られます。典型的なリクエスト、失敗するのを見たことがある難しいケース、空の入力、違う言語、プロンプトインジェクションの試みなどの境界的なケースです。Anthropic の評価ガイドははっきりと、境界的なケースを忘れないようにと述べています。各項目には、分野の専門家が確認した答えが必要です。正解が 1 つの場合は、ゴールデンの答えとの完全一致でコードが採点できます。自由な出力の場合は、ルーブリックを書き、LLM-as-a-judge か人が採点します。
グラウンドトゥルースとテストセット
グラウンドトゥルースは 1 つの項目の正しいラベルで、ゴールデンデータセットはその集まりです。テストセットは、学習には決して使わず測定だけに使う、取り分けておいたデータを指す機械学習の一般的な用語です。ゴールデンセットはプロンプト、few-shot の例、ファインチューニングのデータに入れないでください。そうしないと、実際には改善していないのにスコアが上がります。ベンチマーク汚染と同じ問題です。
役に立つ状態を保つ
セットはコードと一緒にバージョン管理し、本番で見つけた新しい失敗を毎回追加し、製品が変わったらラベルを見直してください。合成データで隙間を埋めることもできますが、人が確認してください。このセットが LLM 回帰テストや、より広い LLM 評価の土台になります。
関連用語
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- 回帰テスト(LLMアプリ)
- LLMアプリの回帰テスト(regression testing)とは、プロンプト、モデル、検索の設定、ツールを変更するたびに固定の評価ケース群を再実行し、以前は動いていたのに今は失敗するケースを見つけることです。
- LLM-as-a-judge
- LLM-as-a-judge とは、人のレビュアーの代わりに、あるいは人と併用して、強力な言語モデルに別のモデルやアプリケーションの出力を採点させる評価方法です。ルーブリック、参照用の回答、並べての比較を使います。
- ベンチマーク汚染
- ベンチマーク汚染(benchmark contamination)とは、モデルが学習中にベンチマークのテスト問題や答えを見てしまっている状態です。そのベンチマークでのスコアは、同じ種類の新しい問題をどれだけうまく扱えるかを過大に示すことになります。
- 合成データ
- 合成データ(synthetic data)とは、現実の情報源から集めるのではなく、ソフトウェア、多くの場合は別のAIモデルによって生成された学習用またはテスト用 のデータです。不足を埋める、例を安く追加する、実際の個人データの露出を避けるといった目的で使われます。