トークン(LLM)
トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
別名: tokens
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
言語モデルが文字や単語を直接見ることはありません。トークナイザーがテキストをトークンに分割し、それぞれを数値に対応付けます。モデルは、それまでのトークンから次のトークンを予測します。
なぜ重要か
トークンは、実務上のほぼすべての上限の単位です。コンテキストウィンドウはトークン数で表されます。APIの料金は入力トークンと出力トークンごとに請求され、詳しくはトークン料金で説明しています。速度は1秒あたりのトークン数で示されます。料金の比較はAIモデル料金の調査をご覧ください。
1トークンは何文字か
トークナイザーと言語によって異なります。よく使われる英単語は1トークンであることが多く、まれな単語、コード、英語以外の多くの文字体系は複数のトークンに分かれます。Anthropicのドキュメントによると、以前のモデルでは1トークンは英語で 約3.5文字で、新しいトークナイザーは同じテキストに対して約30パーセント多くのトークンを生成します。そのため、同じテキストでもモデルによって費用が異なることがあります。正確な数は、プロバイダーのトークンカウンターで確認してください。
ほかの「トークン」とは別物
このページは言語モデルにおけるテキストの単位についてです。APIキーやOAuthアクセストークンのようなAPIや認証のトークン、また暗号資産のトークンとは関係ありません。
関連用語
- トークナイザー
- トークナイザー(tokenizer)とは、テキストをトークンに分割し、言語モデルが処理できる数値のIDに変換し、モデルが出力したIDをテキストに戻す構成要素です。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- コンテキストウィンドウ
- コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
- 出力トークン
- 出力トークン(output tokens)とは、言語モデルが応答で生成するトークンです。入力トークンとは別に数えられ、別に請求されます。max_tokensの設定で、1つの応答に含められる数の上限を決めます。
- 1秒あたりのトークン数
- 1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。