AI 学習データ
AI 学習データ(AI training data)とは、ウェブのテキスト、コード、画像、書き起こし、ラベル付きのペアなど、モデルが学習に使う例の集まりです。その規模、品質、構成、ライセンスによって、モデルにできることと失敗する場面が決まります。
別名: training set, dataset
執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法
どのモデルもそのデータを映し出します。大規模言語モデルは、非常に大きなテキストとコードのコーパスで事前学習され、その後、指示、実演、選好ペアからなるはるかに小さなデータでファインチューニングされます。画像モデルはキャプション付きの画像から学びます。データの欠落や偏りは、モデルの欠落や偏りとして現れます。また、ナレッジカットオフ以前のデータに含まれていないことは、モデルにはわかりません。
学習データの種類
事前学習のデータは、たとえばウェブクローリングによって大規模に集められ、フィルタリング、重複除去、配合が行われます。ファインチューニングのデータはより小さく厳選されたもので、多くの場合は人が書いたり順位付けしたりします。今ではほかのモデルが生成した合成データが、どちらでも一般的に使われています。ゴールデンデータセットなどの評価用データは学習データと分けておく必要があります。そうしないと、ベンチマーク汚染によってスコアが意味を失います。
文書化と権利
Gebru らの「Datasheets for Datasets」は、すべてのデータセットに、その目的、構成、収集過程、推奨される用途を記したデータシートを付けることを提案しています。モデルカードには、モデルの学習に使ったデータの概要がよく記載されます。著作権、同意、ライセンス、個人データは、多くの地域で現在進行中の法的な問題です。EU AI Act などの規則は文書化の義務を加えています。このページは法的な助言ではありません。
開発者向け
ファインチューニングをするなら、ノイズの多い大量のデータよりも、きれいで代表的な数千件の例のほうが通常は効果的です。このサイトの AI 学習データのディレクトリには、データセットの入手先と提供企業を掲載しています。
関連用語
- 合成データ
- 合成データ(synthetic data)とは、現実の情報源から集めるのではなく、ソフトウェア、多くの場合は別のAIモデルによって生成された学習用またはテスト用のデータです。不足を埋める、例を安く追加する、実際の個人データの露出を避けるといった目的で使われます。
- 事前学習
- 事前学習(pretraining)とは、モデルの学習の最初で最大の段階で、タスク固有の調整を行う前に、ラベルのない非常に大きなデータセットから、通常は次のトークンを予測することで一般的なパターンを学ぶことです。
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- AIのためのWebクローリング
- AIのためのWebクローリング(web crawling)とは、リンクやURLのリストをたどってWebページを自動的に取得し、モデルの学習、検索インデックスの構築、アプリケーションが検索する新しいコンテンツの提供のためにテキストを集めることです。
- モデルカード
- モデルカード(model card)とは、機械学習モデルとともに公開される短い文書で、そのモデルの用途、学習と評価の方法、性能が低い領域、使うべき場面と使うべきでない場面を説明します。
- ゴールデンデータセット
- ゴールデンデータセット(golden dataset)とは、入力の例と、期待される答えや振る舞いを組み合わせた、入念に確認済みの固定のセットです。AI システムを評価したり回帰テストをしたりするときの基準として使います。