tiktokenとは?
tiktokenは、テキストをOpenAIのモデルが読むトークンIDに変換し、またその逆も行います。開発者はこれを使って、リクエストを送る前にトークン数を数えます。OpenAIのエンコーディングが含まれており、GPT-4o、GPT-4.1、GPT-5、oシリーズの推論モデル向けのo200k_base、GPT-4、GPT-3.5、現行の埋め込みモデル向けのcl100k_base、オープンウェイトのgpt-ossモデル向けのo200k_harmony、そして引退したモデル向けの旧エンコーディングがあります。encoding_for_model("gpt-4o")は名前から適切なものを選びます。
中核はRustで書かれPythonバインディングを持ち、READMEによれば1 GBのテキストで同等のオープンソースのトークナイザーより3x〜6x速いとされます。MITライセンスで、GitHubスターは約19,700、バージョン0.14.0は2026年8月17日に公開されました。PyPIでは直近1か月で約2億2,500万回(225 million)ダウンロードされ、その多くは他のライブラリの依存関係としてです。
初回利用時、各エンコーディングファイルはOpenAIの公開blobストレージからダウンロードされ、SHA-256ハッシュで検証されたうえで、システムの一時フォルダ、または設定されていればTIKTOKEN_CACHE_DIRにキャッシュされます。
tiktokenは使う価値があるか?
tiktokenはOpenAIモデルの基準となるトークナイザーで、この用途なら比べるものはありません。OpenAI自身のコードで、速く、langchain-openai、llama-index-coreなどが依存しているため、たいていのPythonのAI環境にはすでに入っています。GPT-5のプロンプトをo200k_baseで数えれば、APIが請求する数と一致します。
落とし穴は、それ以外のすべてに使うことです。Claude、Gemini、Llama、Mistral、Qwenはそれぞれ独自のトークナイザーを使うため、これらのモデルに対するtiktokenの数は推定値にすぎず、特にコード、英語以外のテキスト、珍しい書式では目に見えてずれることがあります。Anthropicのドキュメントは、自社のトークナイザーでさえClaude Opus 4.7で変わったこと、古いモデルで測った数を新しいモデルに使い回すべきでないことを注意しています。Anthropicは無料のトークン計数エンドポイントを、GoogleのGemini APIはcountTokens呼び出しを提供しています。オープンウェイトモデルのローカル用トークナイザーは、それぞれのHugging Faceリポジトリに含まれています。
運用面で2つの点がつまずきの元になります。エンコーディングファイルは初回利用時にopenaipublic.blob.core.windows.netから取得されるため、ネットワークから隔離されたサーバーや制限の厳しいコンテナでは、ファイルを事前にキャッシュしてTIKTOKEN_CACHE_DIRで指すまで失敗します。また、モデルとエンコーディングの対応表はライブラリ内に直書きされた辞書で、いずれAPIになるかもしれないというコメントが付いています。新しいモデル名はパッケージが更新されるまでエラーになることがあり、そのためリリース0.14.0ではGPT-5の派生モデルがo200k_baseにフォールバックするようになりました。
注意点:tiktokenが数えるのはテキストであって、リクエストではありません。チャットの書式、ツール定義、画像、推 論トークンは、単純なencode()呼び出しでは見えない形で請求額に加わります。正確な費用を知るには、OpenAI cookbook風の補助関数か、API自身のusageフィールドが引き続き必要です。
結論:tiktokenはGPTモデルと予算チェックに使い、他の提供者にはそれぞれ専用のカウンターを使いましょう。提供者をまたいだ単一の「トークン」数は、異なる単位を比べることになります。
真価を発揮する場面
GPTを使う機能に利用上限を追加するバックエンド開発者
ユーザーごとのトークン予算を超えるプロンプトを拒否するか短くしたい
各リクエストの前に、運用中のモデルに対してencoding_for_modelを呼び、len(enc.encode(text))を求めます。一般的なプロンプトならローカルで数マイクロ秒で終わり、APIの費用もかかりません。
OpenAIの埋め込みインデックス用に文書を分割するデータエンジニア
埋め込みモデルの上限を超えない大きさにテキストを分けたい
text-embedding-3-smallと-large用のエンコーディングであるcl100k_baseでチャンクを正確に測ります。ClaudeやGeminiのパイプラインでは、この数を使い回さず、その提供者の計数APIに切り替えてください。
LLMの提供者を費用で比較する財務アナリスト
同じ処理を複数の提供者で行った場合の月額費用を見積もりたい
実際のプロンプトのサンプルを、GPTモデルはtiktoken、ClaudeはAnthropicの無料count_tokensエンドポイント、GeminiはcountTokensで数え、それぞれの料金表を当てはめます。3社すべてに1つのトークナイザーを使うと比較が歪みます。
導入前に確認すること
- 導入
- pip install tiktoken(Python 3.9以降)。最初のget_encoding呼び出しでエンコーディングファイルがダウンロードされるため、オフラインのマシンではTIKTOKEN_CACHE_DIRで事前にキャッシュしてください。
- 連携
- LangChain、LlamaIndex、LLMLinguaなど多くのライブラリが利用しています。JavaScriptなど他の言語への移植版もあり、このリポジトリの外で保守されています。
- データとプライバシー
- ローカルで動きます。ネットワーク通信は、OpenAIの公開ストレージからの1回限りのエンコーディングのダウンロードだけで、SHA-256ハッシュで検証されます。
- 大規模利用時のコスト
- 無料です。計数はCPUで行われ、すべてのリクエストで実行できるほど速いです。
- 制限
- OpenAIのエンコーディングのみ。未解決issueは61件。インストール済みのリリースより新しいモデル名は解決できないことがあります。メッセージ、ツール、画像のオーバーヘッドは含まれません。
良い点
- OpenAI自身による、OpenAIモデルの正確な計数
- Rust製の中核で、READMEによれば同等のトークナイザーより3x〜6x高速
- 依存関係が少ない(regexとrequests)
- 独自エンコーディング用のプラグイン機構
気になる点
- Claude、Gemini、Llamaの数は近似値にすぎない
- 初回利用時にエンコーディングをインターネットから取得する
- 直書きのモデル表が新しいモデル名に追いつかない
- チャット、ツール、画像のオーバーヘッドは数えない
おすすめの人
OpenAIのモデルで開発し、予算管理、チャンク分割、コンテキストウィンドウの確認のために速く正確なトークン数が必要な開発者。
tiktokenの代替
tiktoken:よくある質問
- tiktokenは使う価値があるか?
- GPTのトークンを数える正しい方法であり、それ以外のトークンを数える誤った方法です。 評価は5点満点中4.5点です。
- tiktokenの料金は?
- MITライセンスの無料オープンソースです。
- tiktokenの欠点は?
- Claude、Gemini、Llamaの数は近似値にすぎない; 初回利用時にエンコーディングをインターネットから取得する; 直書きのモデル表が新しいモデル名に追いつかない; チャット、ツール、画像のオーバーヘッドは数えない.
- tiktokenは誰に向いているか?
- OpenAIのモデルで開発し、予算管理、チャンク分割、コンテキストウィンドウの確認のために速く正確なトークン数が必要な開発者。
- チームや本番環境でtiktokenを使うと費用はいくらか?
- 無料です。計数はCPUで行われ、すべてのリクエストで実行できるほど速いです。
- tiktokenは企業データを扱っても安全か?
- ローカルで動きます。ネットワーク通信は、OpenAIの公開ストレージからの1回限りのエンコーディングのダウンロードだけで、SHA-256ハッシュで検証されます。
- tiktokenの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はHugging Face Transformers, LiteLLM 、 Chonkieです。
回答確認日:2026年11月20日