Temperature(サンプリング)
Temperature(温度)とは、言語モデルの単語の選び方がどれだけランダムかを制御するサンプリングの設定です。低い値では最も可能性の高いトークンが選ばれやすくなり、高い値では可能性の低いトークンにも選択が広がります。
別名: sampling temperature
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
大規模言語モデルは各ステップで、次に来うるすべてのトークンについて確率を出します。Temperatureは、1つが選ばれる前にその確率を調整し直します。下げると分布が鋭くなり、可能性の高いトークンがさらに選ばれやすくなります。上げると分布が平らになり、可能性の低いトークンが選ばれることが増えます。
仕組み
Temperatureは、モデルの生のスコアを、確率に変えるsoftmaxのステップの前に割り算します。Hugging Faceのテキスト生成のガイドは、temperatureを下げると分布が鋭くなり、確率の高い単語の可能性が上がり、確率の低い単語の可能性が下がると説明しています。ゼロに近いと、サンプリングはほぼ常に最上位のトークンを取るのと同じように振る舞います。
設定の目安
- 低いtemperatureは、抽出、分類、コード、正解が1つのものに向いています。 - 高いtemperatureは、ブレインストーミング、多様な言い回し、創作に向いています。
範囲と既定値はプロバイダーによって異なるため、呼び出すモデルのAPIリファレンスを確認してください。
top-pとの違い
Top-p samplingは、分布の可能性の低い裾を切り捨て、残ったものからサンプリングします。Temperatureは分布全体の形を変えます。よくある経験則は、片方を調整し、もう片方は既定値のままにすることです。
限界
temperatureを低くしても、モデルが正しくなるわけではありません。一貫性が増すだけで、そこには一貫して間違えることも含まれます。また、毎回の呼び出しで同一の出力を約束するものでもありません。確実な形式が必要ならstructured outputを、事実が必要ならグラウンディングを使ってください。
関連用語
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- Top-p sampling
- Top-p sampling(nucleus sampling、核サンプリング)とは、確率の合計がしきい値pに達する最小の候補の集合だけから次のトークンを選び、可能性の低いトークンの長い裾を切り捨てる手法です。
- トークン(LLM)
- トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
- Structured output(構造化出力)
- Structured output(構造化出力)とは、言語モデルの応答を、通常はJSONスキーマなど自分で定義した形式に従わせるAPIの機能です。自由なテキストから抜き出す代わりに、コードで確実に解析できます。
- ハルシネーション(AI)
- ハルシネーション(hallucination)とは、流暢で自信ありげに聞こえるものの、誤っている、情報源に裏付けられていない、あるいは作り話である AI モデルの出力です。架空の引用文献、発言、統計、API の関数などがその例です。