事前学習
事前学習(pretraining)とは、モデルの学習の最初で最大の段階で、タスク固有の調整を行う前に、ラベルのない非常に大きなデータセットから、通常は次のトークンを予測することで一般的なパターンを学ぶことです。
別名: pre-training
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
言語モデルが知識と能力の大部分を得るのは事前学習です。モデルはWebページ、書籍、コードなどの膨大なコーパスを読み、各位置で次のトークンを予測するよう学習します。データに誰かがラベルを付けることはなく、テキストそのものが正解を与えます。その結果がベースモデルです。
なぜ重要か
事前学習は群を抜いて費用のかかるステップであるため、大規模なモデルでこれを行う組織はごく少数です。ほかのほぼ全員は、事前学習済みのチェックポイントから始めて適応させます。GPT-3の論文はこのパターンを説明しています。大きなコーパスで事前学習し、その後タスク向けにファインチューニングするというものです。基盤モデルという言葉を生んだ2021年のレポートは、幅広いデータで学習し、その後多くのタスクに適応させるモデルを指してこの言葉を使いました。
事前学習に何を入れるかが、その後のすべてを形作ります。モデルが扱える言語、知っているコーディングスタイル、繰り返す内容、そしてナレッジカットオフです。そ のデータの出どころについてはAI training dataをご覧ください。
ファインチューニングとの違い
ファインチューニングや事後学習(instruction tuningやRLHFなど)は、はるかに小さく厳選されたデータセットを使い、モデルの振る舞いを変えます。指示に従う、決まった形式で答える、一部の依頼を断るといったことです。新しい知識は比較的わずかしか加わりません。モデルがある事実を知らない場合、ファインチューニングは通常よい解決策ではなく、検索の方が適していることが多いです。
継続事前学習
チームは、ファインチューニングの前に、法律や医療のテキストなど特定分野のコーパスで追加の事前学習を行うことがあります。これは2つの段階の中間にあたり、ゼロからの事前学習よりはるかに安く済みます。
関連用語
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- 基盤モデル
- 基盤モデル(foundation model)とは、幅広いデータで大規模に学習した大きなモデルで、1 つのタスクのために作られるのではなく、プロンプトやファインチューニングによってさまざまな下流のタスクに適応させられるものです。
- AI 学習データ
- AI 学習データ(AI training data)とは、ウェブのテキスト、コード、画像、書き起こし、ラベル付きのペアなど、モデルが学習に使う例の集まりです。その規模、品質、構成、ライセンスによって、モデルにできることと失敗する場面が決まります。
- ベースモデル
- ベースモデル(base model)とは、指示チューニングや人のフィードバックによる学習を受ける前の、事前学習を終えたばかりの言語モデルです。指示に従ったり会話をしたりするのではなく、与えられたテキストの続きを書きます。
- ナレッジカットオフ
- ナレッジカットオフ(knowledge cutoff)とは、モデルが情報をほとんど、またはまったく持たなくなる境目の日付です。学習データがおおよそその時点までに集められたためです。それ以降の出来事は、プロンプトで与えない限りわかりません。