Tokenizer
Un tokenizer est le composant qui découpe le texte en tokens et les transforme en identifiants numériques qu'un modèle de langage peut traiter, puis qui retransforme en texte les identifiants produits par le modèle.
Aussi appelé : tokenization, BPE, byte pair encoding
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Chaque modèle de langage est livré avec son propre tokenizer, fixé au moment de l'entraînement. Vous ne pouvez pas le remplacer par un autre sans réentraîner le modèle.
Comment ça marche
La plupart des tokenizers modernes utilisent des unités sous-lexicales. Un article de 2015 de Sennrich et ses collègues a montré que les mots rares et inconnus peuvent être encodés comme des séquences d'unités sous-lexicales, à l'aide d'une segmentation fondée sur le byte pair encoding (BPE). Le BPE part des caractères ou des octets et fusionne de façon répétée les paires les plus fréquentes en nouvelles entrées du vocabulaire. Les mots courants finissent en un seul token, et les mots rares se découpent en morceaux, si bien que le modèle peut encore traiter un mot qu'il n'a jamais vu.
Pourquoi c'est important pour les développeurs
Le tokenizer détermine en combien de tokens se transforme votre texte, ce qui pèse sur le coût, la vitesse et la quantité qui tient dans la fenêtre de contexte. Les tokenizers entraînés surtout sur l'anglais peuvent découper d'autres langues en beaucoup plus de tokens, ce qui les rend plus lentes et plus chères à traiter. Les espaces, les nombres et la mise en forme du code peuvent être découpés de façon surprenante, ce qui aide à comprendre pourquoi les modèles ont parfois du mal à compter des lettres ou à calculer chiffre par chiffre.
En pratique
Utilisez le tokenizer qui correspond à votre modèle pour compter les tokens. La bibliothèque Transformers de Hugging Face charge le tokenizer correspondant à chaque modèle.
Termes liés
- Token (LLM)
- Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
- Grand modèle de langage
- Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
- Tarification au token
- La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
- Fenêtre de contexte
- Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
- Embedding
- Un embedding (plongement vectoriel) est une liste de nombres (un vecteur) qui représente un morceau de texte, une image ou d'autres données, produite de sorte que les éléments de sens proche obtiennent des vecteurs proches les uns des autres.