ベースモデル
ベースモデル(base model)とは、指示チューニングや人のフィードバックによる学習を受ける前の、事前学習を終えたばかりの言語モデルです。指示に従ったり会話をしたりするのではなく、与えられたテキストの続きを書きます。
別名: pretrained checkpoint, pretrained model, -Base
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
ベースモデルに「What is the capital of France?」と尋ねると、答えるかもしれませんし、クイズの問題をさらに 3 つ書くかもしれません。質問の列挙は、ありそうな続きだからです。ベースモデルは事前学習の間に言語と多くの事実を学んでいますが、アシスタントとして振る舞うようには教わっていません。
どこで見かけるか
オープンモデルのリリースでは、ベースのチェックポイントとインストラクトモデルの 2 つのバージョンが公開されることがよくあります。ERNIE 5.5 Flash Base のように、名前にそれが示されているものもあります。ホスト型の API が提供するのは、ほぼ常に調整済みのバージョンだけです。
なぜ使うのか
ベースモデルは、ほかのチームの文体、拒否の仕方、チャットの形式を身につけていないため、自分でファインチューニングをする際の一般的な出発点です。研究者は、事前学習だけで何が生まれるかを調べるためにベースモデルを使います。コードの補完や、指定した文体でのテ キスト生成など、純粋に続きを書くタスクにも向いています。
プロンプトを、モデルが自然に続きを書くようなテキストとして組み立て、最初にいくつかの例を示せば、ベースモデルからも役に立つ結果を得られます。GPT-3 の論文はまさにこれを行い、ファインチューニングなしのモデルを、タスクと例をテキストとしてのみ与えて試しました。これが few-shot プロンプティングです。
基盤モデルとの違い
基盤モデルは、多くのタスクに適応させることを想定した幅広いモデル全般を指します。ベースモデルは特定のチェックポイント、つまり調整前のものです。それをもとに作ったインストラクトモデルは基盤モデルではありますが、もうベースモデルではありません。
関連用語
- インストラクトモデル
- インストラクトモデル(instruct model)とは、ベースの言語モデルを、指示とよい回答の組み合わせ、多くの場合は人のフィードバックでもさらに学習させたモデルです。テキストの続きを書くだけでなく、依頼に従います。
- 事前学習
- 事前学習(pretraining)とは、モデルの学習の最初で最大の段階で、タスク固有の調整を行う前に、ラベルのない非常に大きなデータセットから、通常は次のトークンを予測することで一般的なパターンを学ぶことです。
- 基盤モデル
- 基盤モデル(foundation model)とは、幅広いデータで大規模に学習した大きなモデルで、1 つのタスクのために作られるのではなく、プロンプトやファインチューニングによってさまざまな下流のタスクに適応させられるものです。
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- Few-shot プロンプティング
- Few-shot プロンプティング(few-shot prompting)とは、タスクの具体例をいくつかプロンプトの中で言語モデルに示し、再学習なし に新しい入力に対してそのパターンをまねさせる方法です。