Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

tiktoken

El tokenizador BPE rápido de OpenAI: recuentos exactos para modelos GPT y solo una aproximación para Claude, Gemini o Llama.

Reseña de ReviewRamble editors · Actualizado

Ver en GitHub Código abierto

Comparte esta página:XLinkedInFacebookRedditWhatsAppCorreo

Nuestra nota

4.5/5

La forma correcta de contar tokens de GPT y una forma equivocada de contar los de cualquier otro.

¿Qué es tiktoken?

tiktoken convierte texto en los IDs de tokens que leen los modelos de OpenAI y viceversa, que es como los desarrolladores cuentan tokens antes de enviar una petición. Incluye las codificaciones de OpenAI: o200k_base para GPT-4o, GPT-4.1, GPT-5 y los modelos de razonamiento de la serie o, cl100k_base para GPT-4, GPT-3.5 y los modelos de embeddings actuales, o200k_harmony para los modelos de pesos abiertos gpt-oss, y codificaciones antiguas para modelos retirados. encoding_for_model("gpt-4o") elige la correcta por nombre.

El núcleo está escrito en Rust con bindings para Python, y el README dice que es entre 3x y 6x más rápido que un tokenizador de código abierto comparable sobre 1 GB de texto. Tiene licencia MIT, unas 19,700 estrellas en GitHub, y la versión 0.14.0 salió el 17 de agosto de 2026. PyPI registró unos 225 millones de descargas en el último mes, sobre todo como dependencia de otras librerías.

En el primer uso, cada archivo de codificación se descarga del almacenamiento público de blobs de OpenAI, se comprueba con un hash SHA-256 y se guarda en la carpeta temporal del sistema, o en TIKTOKEN_CACHE_DIR si está definida.

¿Merece la pena tiktoken?

tiktoken es el tokenizador de referencia para los modelos de OpenAI, y para esa tarea no hay nada que poner en la balanza: es código de la propia OpenAI, es rápido y ya está instalado en la mayoría de pilas de IA en Python porque langchain-openai, llama-index-core y otros dependen de él. Contar un prompt de GPT-5 con o200k_base da el mismo número que factura la API.

La trampa es usarlo para todo lo demás. Claude, Gemini, Llama, Mistral y Qwen usan cada uno su propio tokenizador, así que un recuento de tiktoken para esos modelos es una estimación que puede desviarse de forma apreciable, más aún con código, texto que no está en inglés o formatos poco habituales. La documentación de Anthropic advierte que incluso su propio tokenizador cambió con Claude Opus 4.7 y que no deben reutilizarse recuentos de modelos anteriores para los nuevos. Anthropic ofrece un endpoint gratuito de conteo de tokens y la API de Gemini de Google una llamada countTokens; los tokenizadores locales de los modelos de pesos abiertos vienen con sus repositorios de Hugging Face.

Dos detalles operativos pillan a la gente. Los archivos de codificación se descargan de openaipublic.blob.core.windows.net en el primer uso, así que los servidores aislados y los contenedores restringidos fallan hasta que los archivos se precargan y TIKTOKEN_CACHE_DIR apunta a ellos. Y la tabla de modelo a codificación es un diccionario fijo dentro de la librería, con un comentario que dice que podría convertirse en una API; un nombre de modelo nuevo puede dar error hasta que el paquete se actualice, y por eso la versión 0.14.0 hizo que las variantes de GPT-5 recurrieran a o200k_base.

La pega: tiktoken cuenta texto, no peticiones. El formato de chat, las definiciones de herramientas, las imágenes y los tokens de razonamiento suman a la factura de formas que una simple llamada a encode() no ve, así que sigue haciendo falta un helper al estilo del cookbook de OpenAI o el campo usage de la propia API para conocer el coste exacto.

Nuestra opinión: tiktoken para los modelos GPT y los controles de presupuesto, y un contador propio para cada otro proveedor; un único número de "tokens" entre proveedores compara unidades distintas.

Dónde se gana su sitio

  • Un desarrollador backend que añade un límite de uso a una función basada en GPT

    Rechazar o recortar prompts que superarían un presupuesto de tokens por usuario

    Llama a encoding_for_model para el modelo desplegado y a len(enc.encode(text)) antes de cada petición. Se ejecuta en local en microsegundos para prompts normales y no añade coste de API.

  • Un ingeniero de datos que trocea documentos para un índice de embeddings de OpenAI

    Dividir el texto en fragmentos que no superen el límite del modelo de embeddings

    Usa cl100k_base, la codificación de text-embedding-3-small y -large, para medir los fragmentos con exactitud. En un pipeline con Claude o Gemini, cambia a la API de conteo de ese proveedor en lugar de reutilizar estos números.

  • Una analista financiera que compara proveedores de LLM por coste

    Estimar el gasto mensual de la misma carga de trabajo en varios proveedores

    Cuenta una muestra de prompts reales con tiktoken para los modelos GPT, con el endpoint gratuito count_tokens de Anthropic para Claude y con countTokens para Gemini, y aplica cada lista de precios. Usar un solo tokenizador para los tres sesgaría la comparación.

Antes de decidirte

Puesta en marcha
pip install tiktoken (Python 3.9 o posterior); la primera llamada a get_encoding descarga el archivo de codificación, así que precárgalo con TIKTOKEN_CACHE_DIR en máquinas sin conexión.
Integraciones
Lo usan LangChain, LlamaIndex, LLMLingua y muchos otros; existen ports para JavaScript y otros lenguajes, mantenidos fuera de este repositorio.
Datos y privacidad
Se ejecuta en local; la única llamada de red es la descarga única de la codificación desde el almacenamiento público de OpenAI, verificada con un hash SHA-256.
Coste a escala
Gratis. El conteo depende de la CPU y es lo bastante rápido para ejecutarlo en cada petición.
Límites
Solo codificaciones de OpenAI; 61 incidencias abiertas; los nombres de modelo más nuevos que la versión instalada pueden no resolverse; no incluye la sobrecarga de mensajes, herramientas e imágenes.

Lo bueno

  • Recuentos exactos para modelos de OpenAI, de la propia OpenAI
  • Núcleo en Rust, entre 3x y 6x más rápido que un tokenizador comparable según su README
  • Pocas dependencias (regex y requests)
  • Mecanismo de plugins para codificaciones propias

Lo malo

  • Los recuentos para Claude, Gemini o Llama son solo aproximaciones
  • Descarga las codificaciones de internet en el primer uso
  • La tabla fija de modelos va por detrás de los nombres nuevos
  • No cuenta la sobrecarga de chat, herramientas o imágenes

Ideal para

Desarrolladores que trabajan con modelos de OpenAI y necesitan recuentos de tokens rápidos y exactos para presupuestos, troceado y comprobaciones de ventana de contexto.

Alternativas a tiktoken

tiktoken: preguntas frecuentes

¿Merece la pena tiktoken?
La forma correcta de contar tokens de GPT y una forma equivocada de contar los de cualquier otro. Le damos un 4.5 sobre 5.
¿Cuánto cuesta tiktoken?
Gratuito y de código abierto bajo MIT.
¿Qué inconvenientes tiene tiktoken?
Los recuentos para Claude, Gemini o Llama son solo aproximaciones; descarga las codificaciones de internet en el primer uso; la tabla fija de modelos va por detrás de los nombres nuevos; no cuenta la sobrecarga de chat, herramientas o imágenes.
¿Para quién es tiktoken?
Desarrolladores que trabajan con modelos de OpenAI y necesitan recuentos de tokens rápidos y exactos para presupuestos, troceado y comprobaciones de ventana de contexto.
¿Cuánto cuesta tiktoken para un equipo o en producción?
Gratis. El conteo depende de la CPU y es lo bastante rápido para ejecutarlo en cada petición.
¿Es tiktoken seguro para los datos de la empresa?
Se ejecuta en local; la única llamada de red es la descarga única de la codificación desde el almacenamiento público de OpenAI, verificada con un hash SHA-256.
¿Cuáles son las mejores alternativas a tiktoken?
Las alternativas más cercanas que hemos analizado son Hugging Face Transformers, LiteLLM y Chonkie.

Respuestas comprobadas el 20 nov 2026.

¿Desarrollas tiktoken? Muestra esta nota en tu webtiktoken: nota de 4.5 sobre 5 en ReviewRamble