プロンプトとコンテキスト
モデルへの指示の出し方と、モデルが見るもの・返すものを制御する方法です。
- Chain-of-thought
- Chain-of-thought(CoT、思考の連鎖)とは、言語モデルが最終的な回答の前に中間の推論の手順を書き出すプロンプトの手法です。数学、論理、その他の複数の手順を要する問題で結果がよくなる傾向があります。
- Few-shot プロンプティング
- Few-shot プロンプティング(few-shot prompting)とは、タスクの具体例をいくつかプロンプトの中で言語モデルに示し、再学習なしに新しい入力に対してそのパターンをまねさせる方法です。
- Structured output(構造化出力)
- Structured output(構造化出力)とは、言語モデルの応答を、通常はJSONスキーマなど自分で定義した形式に従わせるAPIの機能です。自由なテキストから抜き出す代わりに、コードで確実に解析できます。
- Temperature(サンプリング)
- Temperature(温度)とは、言語モデルの単語の選び方がどれだけランダムかを制御するサンプリングの設定です。低い値では最も可能性の高いトークンが選ばれやすくなり、高い値では可能性の低いトークンにも選択が広がります。
- Top-p sampling
- Top-p sampling(nucleus sampling、核サンプリング)とは、確率の合計がしきい値pに達する最小の候補の集合だけから次のトークンを選び、可能性の低いトークンの長い裾を切り捨てる手法です。
- Zero-shot(ゼロショット)
- Zero-shot(ゼロショット)とは、プロンプトに実例を含めず、タスク固有の学習もせずに、指示だけでモデルにタスクを行わせることです。モデルは、すでに学習したことだけに頼ります。
- グラウンディング
- グラウンディング(grounding)とは、言語モデルの回答を、検索結果、文書、データベースなど、確認できる特定の情報源に結びつけることです。主張が学習データだけでなく、与えられた根拠に基づくようにします。
- コンテキストエンジニアリング
- コンテキストエンジニアリング(context engineering)とは、タスクの間に言語モデルのコンテキストウィンドウに入るすべてのもの、つまり指示、取得した文書、ツールの定義、ツールの結果、会話の履歴を選び、管理する取り組みです。
- システムプロンプト
- システムプロンプト(system prompt)とは、アプリケーションがユーザーのメッセージより前に言語モデルに送る指示のまとまりです。会話全体を通じたモデルの役割、ルール、口調、出力形式を設定します。
- プロンプトエンジニアリング
- プロンプトエンジニアリング(prompt engineering)とは、モデルの重みを変えずに、アプリケーションが必要とする出力を言語モデルが生成するよう、与える指示と例を書き、構成し、テストすることです。
- 出力トークン
- 出力トークン(output tokens)とは、言語モデルが応答で生成するトークンです。入力トークンとは別に数えられ、別に請求されます。max_tokensの設定で、1つの応答に含められる数の上限を決めます。