Top-p sampling
Top-p sampling(nucleus sampling、核サンプリング)とは、確率の合計がしきい値pに達する最小の候補の集合だけから次のトークンを選び、可能性の低いトークンの長い裾を切り捨てる手法です。
別名: nucleus sampling, top-k, top-k sampling
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
モデルがテキストを生成するとき、次に来うるすべてのトークンには何らかの確率があります。そのすべてからサンプリングすると、まれで奇妙なトークンが紛れ込みます。常に最も可能性の高い1つのトークンを取ると、平凡で繰り返しの多いテキストになりがちです。Top-p samplingはその中間に位置します。
仕組み
候補のトークンを可能性の高い順に並べます。合計がp、たとえば0.9を超えるまで確率を足していきます。その集合を残して残りを捨て、残したものからサンプリングします。モデルに確信があるときは、集合には少数のトークンしか入らないかもしれません。確信がないときは集合が大きくなります。この適応的なサイズが、top-kとの主な違いです。
由来
Holtzmanらは「The Curious Case of Neural Text Degeneration」(2019年)でnucleus samplingを紹介しました。彼らは、尤度をデコードの目的にすると平凡で繰り返しの多いテキストになること、そして分布の動的な核からサンプリングすると、信頼性の低い裾を取り除きながら多様性を保てることを発見しました。
Top-k sampling
Top-kは、確率がどう分布していても、決まった数の候補、つまり最も可能性の高いk個のトークンを残します。より単純ですが、モデルに確信があるときは選択肢を残しすぎ、確信がないときは少なすぎるこ とがあります。両方の設定を提供しているAPIもあります。
temperatureとの違い
Temperatureは分布全体の形を変え、top-pは分布を切り詰めます。どちらも推論時に働き、モデル自体は何も変えません。
なぜ重要か
ほとんどの開発者にとって、これらは調整用のつまみであって、設計上の判断ではありません。既定値はたいてい妥当です。低い値は正解が1つのタスクに、高い値は自由な文章の生成に向いています。
関連用語
- Temperature(サンプリング)
- Temperature(温度)とは、言語モデルの単語の選び方がどれだけランダムかを制御するサンプリングの設定です。低い値では最も可能性の高いトークンが選ばれやすくなり、高い値では可能性の低いトークンにも選択が広がります。
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワ ークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- トークン(LLM)
- トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。