Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

tiktoken

Le tokenizer BPE rapide d'OpenAI : des comptes exacts pour les modèles GPT, et seulement une approximation pour Claude, Gemini ou Llama.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

4.5/5

La bonne façon de compter les tokens GPT, et une mauvaise façon de compter ceux de tous les autres.

Qu’est-ce que tiktoken ?

tiktoken convertit du texte en identifiants de tokens lus par les modèles d'OpenAI, et inversement ; c'est ainsi que les développeurs comptent les tokens avant d'envoyer une requête. Il fournit les encodages d'OpenAI : o200k_base pour GPT-4o, GPT-4.1, GPT-5 et les modèles de raisonnement de la série o, cl100k_base pour GPT-4, GPT-3.5 et les modèles d'embeddings actuels, o200k_harmony pour les modèles à poids ouverts gpt-oss, et d'anciens encodages pour les modèles retirés. encoding_for_model("gpt-4o") choisit le bon d'après le nom.

Le cœur est écrit en Rust avec des bindings Python, et le README le dit 3x à 6x plus rapide qu'un tokenizer open source comparable sur 1 Go de texte. Il est sous licence MIT, compte environ 19 700 étoiles GitHub, et la version 0.14.0 est sortie le 17 août 2026. PyPI a enregistré environ 225 millions de téléchargements le mois dernier, surtout comme dépendance d'autres bibliothèques.

À la première utilisation, chaque fichier d'encodage est téléchargé depuis le stockage blob public d'OpenAI, vérifié par un hachage SHA-256 et mis en cache dans le dossier temporaire du système, ou dans TIKTOKEN_CACHE_DIR si cette variable est définie.

tiktoken vaut-il le coup ?

tiktoken est le tokenizer de référence des modèles d'OpenAI, et pour cette tâche il n'y a rien à mettre en balance : c'est le code d'OpenAI, il est rapide, et il est déjà installé dans la plupart des piles IA en Python parce que langchain-openai, llama-index-core et d'autres en dépendent. Compter un prompt GPT-5 avec o200k_base donne le même nombre que celui facturé par l'API.

Le piège consiste à l'utiliser pour tout le reste. Claude, Gemini, Llama, Mistral et Qwen ont chacun leur propre tokenizer ; un compte tiktoken pour ces modèles n'est donc qu'une estimation qui peut s'écarter sensiblement, surtout pour du code, du texte non anglais ou une mise en forme inhabituelle. La documentation d'Anthropic avertit que son propre tokenizer a changé avec Claude Opus 4.7 et qu'il ne faut pas réutiliser les comptes des anciens modèles pour les nouveaux. Anthropic propose un endpoint gratuit de comptage de tokens et l'API Gemini de Google un appel countTokens ; les tokenizers locaux des modèles à poids ouverts sont fournis dans leurs dépôts Hugging Face.

Deux détails d'exploitation piègent souvent. Les fichiers d'encodage sont récupérés sur openaipublic.blob.core.windows.net à la première utilisation, si bien que les serveurs isolés et les conteneurs verrouillés échouent tant que les fichiers ne sont pas mis en cache à l'avance avec TIKTOKEN_CACHE_DIR pointant dessus. Et la table modèle-encodage est un dictionnaire codé en dur dans la bibliothèque, avec un commentaire indiquant qu'elle pourrait devenir une API ; un nouveau nom de modèle peut déclencher une erreur jusqu'à la mise à jour du paquet, ce qui explique pourquoi la version 0.14.0 fait retomber les variantes de GPT-5 sur o200k_base.

Le hic : tiktoken compte du texte, pas des requêtes. Le format de chat, les définitions d'outils, les images et les tokens de raisonnement s'ajoutent à la facture d'une manière qu'un simple appel à encode() ne voit pas ; il faut donc toujours un helper façon cookbook OpenAI ou le champ usage de l'API pour connaître le coût exact.

Notre avis : tiktoken pour les modèles GPT et les contrôles de budget, et un compteur propre à chaque autre fournisseur ; un nombre unique de "tokens" entre fournisseurs compare des unités différentes.

Là où il fait la différence

  • Un développeur backend qui ajoute un plafond d'usage à une fonctionnalité appuyée sur GPT

    Refuser ou raccourcir les prompts qui dépasseraient un budget de tokens par utilisateur

    Appelez encoding_for_model pour le modèle déployé et len(enc.encode(text)) avant chaque requête. Cela tourne en local en quelques microsecondes pour des prompts courants et n'ajoute aucun coût d'API.

  • Un data engineer qui découpe des documents pour un index d'embeddings OpenAI

    Découper le texte en morceaux qui restent sous la limite du modèle d'embeddings

    Utilisez cl100k_base, l'encodage de text-embedding-3-small et -large, pour mesurer les morceaux exactement. Pour un pipeline Claude ou Gemini, passez à l'API de comptage de ce fournisseur au lieu de réutiliser ces chiffres.

  • Une analyste financière qui compare les fournisseurs de LLM sur le coût

    Estimer la dépense mensuelle d'une même charge de travail chez plusieurs fournisseurs

    Comptez un échantillon de vrais prompts avec tiktoken pour les modèles GPT, avec l'endpoint gratuit count_tokens d'Anthropic pour Claude et avec countTokens pour Gemini, puis appliquez chaque grille tarifaire. Un seul tokenizer pour les trois fausserait la comparaison.

Avant de vous engager

Mise en route
pip install tiktoken (Python 3.9 ou plus récent) ; le premier appel à get_encoding télécharge le fichier d'encodage, à mettre en cache à l'avance avec TIKTOKEN_CACHE_DIR sur les machines hors ligne.
Intégrations
Utilisé par LangChain, LlamaIndex, LLMLingua et bien d'autres ; des portages existent pour JavaScript et d'autres langages, maintenus hors de ce dépôt.
Données et confidentialité
Tourne en local ; le seul appel réseau est le téléchargement unique de l'encodage depuis le stockage public d'OpenAI, vérifié par hachage SHA-256.
Coût à grande échelle
Gratuit. Le comptage sollicite le CPU et reste assez rapide pour chaque requête.
Limites
Encodages OpenAI uniquement ; 61 tickets ouverts ; les noms de modèles plus récents que la version installée peuvent ne pas être reconnus ; surcoût des messages, outils et images non inclus.

Les points forts

  • Comptes exacts pour les modèles OpenAI, par OpenAI
  • Cœur en Rust, 3x à 6x plus rapide qu'un tokenizer comparable selon son README
  • Peu de dépendances (regex et requests)
  • Mécanisme de plugins pour des encodages personnalisés

Les points faibles

  • Les comptes pour Claude, Gemini ou Llama ne sont que des approximations
  • Télécharge les encodages depuis internet à la première utilisation
  • La table de modèles codée en dur retarde sur les nouveaux noms
  • Ne compte pas le surcoût du chat, des outils ou des images

Idéal pour

Les développeurs qui bâtissent sur les modèles OpenAI et ont besoin de comptes de tokens rapides et exacts pour les budgets, le découpage et les contrôles de fenêtre de contexte.

Alternatives à tiktoken

tiktoken : questions fréquentes

tiktoken vaut-il le coup ?
La bonne façon de compter les tokens GPT, et une mauvaise façon de compter ceux de tous les autres. Nous lui donnons 4.5 sur 5.
Combien coûte tiktoken ?
Gratuit et open source sous MIT.
Quels sont les inconvénients de tiktoken ?
Les comptes pour Claude, Gemini ou Llama ne sont que des approximations; télécharge les encodages depuis internet à la première utilisation; la table de modèles codée en dur retarde sur les nouveaux noms; ne compte pas le surcoût du chat, des outils ou des images.
À qui s’adresse tiktoken ?
Les développeurs qui bâtissent sur les modèles OpenAI et ont besoin de comptes de tokens rapides et exacts pour les budgets, le découpage et les contrôles de fenêtre de contexte.
Combien coûte tiktoken pour une équipe ou en production ?
Gratuit. Le comptage sollicite le CPU et reste assez rapide pour chaque requête.
tiktoken est-il sûr pour les données de l’entreprise ?
Tourne en local ; le seul appel réseau est le téléchargement unique de l'encodage depuis le stockage public d'OpenAI, vérifié par hachage SHA-256.
Quelles sont les meilleures alternatives à tiktoken ?
Les alternatives les plus proches que nous avons testées sont Hugging Face Transformers, LiteLLM et Chonkie.

Réponses vérifiées le 20 nov. 2026.

Vous éditez tiktoken ? Affichez cette note sur votre sitetiktoken noté 4.5 sur 5 par ReviewRamble