Test-time compute(推論時の計算)
Test-time compute(推論時の計算)とは、モデルが学習中ではなく、リクエストに答える間に使う計算量のことです。モデルに長く考えさせたり、複数の回答を試させたりすると、難しい問題で結果が良くなることがあります。
別名: reasoning effort, thinking budget, inference-time compute, inference-time scaling
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
長年、より良いモデルを得る主な方法は、より大きなモデルをより長く学習させることでした。Test-time computeはもう1つの手段です。モデルはそのままに、質問ごとにより多くの作業をさせます。その方法には、推論モデルのように答える前に推論を書き出すこと、複数の回答をサンプリングして最良のものを選ぶこと、検証器で回答を確認することがあります。
研究からわかること
Snellらによる2024年の論文は、推論時の追加の計算がどれだけ役立つかを調べました。その結果、最適な使い方はプロンプトの難しさによって異なり、一部の問題では、test-time computeを増やした小さなモデルが、はるかに大きなモデルを上回りうることがわかりました。追加の思考が最も役立つのは数学、コーディング、複数ステップの問題で、単純な調べものではほとんど効果がありません。
推論の労力と思考の予算
APIはこれを設定として提供しています。Anthropicの手動のextended thinkingモードでは、Claudeが推論に使えるトークン数をbudget_tokensの値で指定していました。新しいClaudeモデルは、代わりにeffortの設定を使います。ほかのプロバイダーも、低、中、高の推論の労力のような同様の選択 肢を提供しています。ドキュメントで目にする「reasoning effort」や「thinking budget」という名前がこれです。
コスト
思考のトークンは通常出力トークンとして請求されるため、test-time computeを増やすと、トークン料金の下でリクエストあたりの費用が上がり、回答も遅くなります。表示されるテキストのtime to first tokenも長くなります。effortはタスクごとに設定してください。定型的なリクエストには低く、テストで効果が確認できた場合にだけ高くします。料金の比較はAIモデル料金の調査をご覧ください。
chain-of-thoughtとの違い
Chain-of-thoughtは、モデルにステップを示すよう促す1つの手法です。Test-time computeはより広い予算であり、chain-of-thoughtはその使い方の1つです。
関連用語
- 推論モデル
- 推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考 のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
- Chain-of-thought
- Chain-of-thought(CoT、思考の連鎖)とは、言語モデルが最終的な回答の前に中間の推論の手順を書き出すプロンプトの手法です。数学、論理、その他の複数の手順を要する問題で結果がよくなる傾向があります。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- 出力トークン
- 出力トークン(output tokens)とは、言語モデルが応答で生成するトークンです。入力トークンとは別に数えられ、別に請求されます。max_tokensの設定で、1つの応答に含められる数の上限を決めます。
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。