本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

トークナイザー

トークナイザー(tokenizer)とは、テキストをトークンに分割し、言語モデルが処理できる数値のIDに変換し、モデルが出力したIDをテキストに戻す構成要素です。

別名: tokenization, BPE, byte pair encoding

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

すべての言語モデルは、学習時に固定された独自のトークナイザーとともに提供されます。モデルを再学習せずに、別のトークナイザーに取り替えることはできません。

仕組み

現在のトークナイザーのほとんどは、サブワード単位を使います。Sennrichらによる2015年の論文は、バイトペアエンコーディング(BPE)に基づく分割を使い、まれな単語や未知の単語をサブワード単位の並びとして符号化できることを示しました。BPEは文字やバイトから始め、最も頻度の高いペアを繰り返し結合して新しい語彙項目にします。よく使われる単語は1つのトークンになり、まれな単語は断片に分かれるため、モデルは一度も見たことのない単語も扱えます。

開発者が気にする理由

テキストが何トークンになるかはトークナイザーで決まり、それがコスト、速度、コンテキストウィンドウにどれだけ収まるかを左右します。主に英語で学習したトークナイザーは、ほかの言語をはるかに多くのトークンに分割することがあり、遅く高価になります。空白、数字、コードの書式は意外な形でトークン化されることがあり、モデルが文字数を数えたり桁の計算をしたりするのを苦手とすることがある理由の一端もここにあります。

実際には

トークンを数えるときは、使うモデルに対応したトークナイザーを使ってください。Hugging FaceのTransformersライブラリは、モデルごとに対応するトークナイザーを読み込みます。

関連用語

トークン(LLM)
トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
大規模言語モデル
大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
トークン料金
トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
コンテキストウィンドウ
コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
埋め込み
埋め込み(embedding)とは、テキスト、画像、その他のデータを表す数値の並び(ベクトル)です。意味の似たものほどベクトルが近くなるように作られます。

出典