Token (LLM)
Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
Aussi appelé : tokens
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les modèles de langage ne voient jamais directement les lettres ou les mots. Un tokenizer découpe le texte en tokens et associe chacun à un nombre, et le modèle prédit le token suivant à partir des précédents.
Pourquoi c'est important
Les tokens sont l'unité de presque toutes les limites pratiques. La fenêtre de contexte est un nombre de tokens. Les factures d'API sont calculées par token d'entrée et par token de sortie, comme l'explique la page sur la tarification au token. La vitesse s'exprime en tokens par seconde. Comparez les prix dans notre étude sur les prix des modèles d'IA.
Combien de caractères fait un token ?
Cela dépend du tokenizer et de la langue. Les mots anglais courants font souvent un seul token, tandis que les mots rares, le code et de nombreuses écritures non anglaises se découpent en plusieurs. La documentation d'Anthropic indique qu'un token fait environ 3,5 caractères anglais sur ses anciens modèles, et que son nouveau tokenizer produit environ 30 % de tokens en plus pour le même texte. Un même texte peut donc coûter des montants différents selon le modèle. Utilisez le compteur de tokens du fournisseur pour obtenir des chiffres exacts.
À ne pas confondre
Cette page traite des unités de texte des modèles de langage. Elle n'a rien à voir avec les tokens d'API ou d'authentification, comme une clé API ou un jeton d'accès OAuth, ni avec les tokens des cryptomonnaies.
Termes liés
- Tokenizer
- Un tokenizer est le composant qui découpe le texte en tokens et les transforme en identifiants numériques qu'un modèle de langage peut traiter, puis qui retransforme en texte les identifiants produits par le modèle.
- Tarification au token
- La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
- Fenêtre de contexte
- Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
- Tokens de sortie
- Les tokens de sortie (output tokens) sont les tokens qu'un modèle de langage génère dans sa réponse. Ils sont comptés et facturés séparément des tokens d'entrée, et un réglage max_tokens plafonne le nombre qu'une réponse peut contenir.
- Tokens par seconde
- Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.