Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

tiktoken

O tokenizador BPE rápido da OpenAI: contagens exatas para modelos GPT e só uma aproximação para Claude, Gemini ou Llama.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

4.5/5

O jeito certo de contar tokens do GPT e um jeito errado de contar os de qualquer outro.

O que é tiktoken?

O tiktoken converte texto nos IDs de tokens que os modelos da OpenAI leem e vice-versa, que é como os desenvolvedores contam tokens antes de enviar uma requisição. Ele traz as codificações da OpenAI: o200k_base para GPT-4o, GPT-4.1, GPT-5 e os modelos de raciocínio da série o, cl100k_base para GPT-4, GPT-3.5 e os modelos de embeddings atuais, o200k_harmony para os modelos de pesos abertos gpt-oss, e codificações antigas para modelos aposentados. encoding_for_model("gpt-4o") escolhe a certa pelo nome.

O núcleo é escrito em Rust com bindings para Python, e o README diz que ele é de 3x a 6x mais rápido que um tokenizador open source comparável em 1 GB de texto. Tem licença MIT, cerca de 19,700 estrelas no GitHub, e a versão 0.14.0 saiu em 17 de agosto de 2026. O PyPI registrou cerca de 225 milhões de downloads no último mês, a maioria como dependência de outras bibliotecas.

No primeiro uso, cada arquivo de codificação é baixado do armazenamento público de blobs da OpenAI, conferido com um hash SHA-256 e guardado na pasta temporária do sistema, ou em TIKTOKEN_CACHE_DIR se estiver definida.

tiktoken vale a pena?

O tiktoken é o tokenizador de referência dos modelos da OpenAI, e para essa tarefa não há o que pesar contra ele: é código da própria OpenAI, é rápido e já vem instalado na maioria das pilhas de IA em Python porque langchain-openai, llama-index-core e outros dependem dele. Contar um prompt do GPT-5 com o200k_base dá o mesmo número que a API cobra.

A armadilha é usá-lo para todo o resto. Claude, Gemini, Llama, Mistral e Qwen usam cada um seu próprio tokenizador, então uma contagem do tiktoken para esses modelos é uma estimativa que pode errar de forma perceptível, ainda mais com código, texto que não está em inglês e formatação incomum. A documentação da Anthropic avisa que até o próprio tokenizador dela mudou com o Claude Opus 4.7 e que contagens de modelos antigos não devem ser reaproveitadas para os novos. A Anthropic oferece um endpoint gratuito de contagem de tokens e a API do Gemini, do Google, uma chamada countTokens; tokenizadores locais para modelos de pesos abertos vêm nos repositórios deles no Hugging Face.

Dois detalhes operacionais pegam as pessoas de surpresa. Os arquivos de codificação são baixados de openaipublic.blob.core.windows.net no primeiro uso, então servidores isolados e contêineres restritos falham até que os arquivos sejam pré-carregados e TIKTOKEN_CACHE_DIR aponte para eles. E a tabela de modelo para codificação é um dicionário fixo dentro da biblioteca, com um comentário dizendo que pode virar uma API; um nome de modelo novo pode gerar erro até o pacote ser atualizado, e foi por isso que a versão 0.14.0 fez as variantes do GPT-5 caírem para o o200k_base.

O porém: o tiktoken conta texto, não requisições. Formatação de chat, definições de ferramentas, imagens e tokens de raciocínio somam na conta de maneiras que uma simples chamada a encode() não enxerga, então ainda é preciso um helper no estilo do cookbook da OpenAI ou o campo usage da própria API para o custo exato.

Nossa opinião: tiktoken para modelos GPT e checagens de orçamento, e um contador próprio para cada outro provedor; um único número de "tokens" entre fornecedores compara unidades diferentes.

Onde ele se destaca

  • Um desenvolvedor backend adicionando um limite de uso a uma funcionalidade com GPT

    Recusar ou cortar prompts que passariam de um orçamento de tokens por usuário

    Chame encoding_for_model para o modelo em produção e len(enc.encode(text)) antes de cada requisição. Roda localmente em microssegundos para prompts comuns e não adiciona custo de API.

  • Um engenheiro de dados dividindo documentos para um índice de embeddings da OpenAI

    Dividir o texto em pedaços que fiquem abaixo do limite do modelo de embeddings

    Use cl100k_base, a codificação do text-embedding-3-small e do -large, para medir os pedaços com exatidão. Num pipeline com Claude ou Gemini, troque para a API de contagem desse provedor em vez de reaproveitar esses números.

  • Uma analista financeira comparando fornecedores de LLM por custo

    Estimar o gasto mensal da mesma carga de trabalho em vários provedores

    Conte uma amostra de prompts reais com o tiktoken para modelos GPT, com o endpoint gratuito count_tokens da Anthropic para Claude e com countTokens para Gemini, e aplique cada tabela de preços. Usar um único tokenizador para os três distorceria a comparação.

Antes de decidir

Configuração
pip install tiktoken (Python 3.9 ou mais recente); a primeira chamada a get_encoding baixa o arquivo de codificação, então pré-carregue com TIKTOKEN_CACHE_DIR em máquinas sem internet.
Integrações
Usado por LangChain, LlamaIndex, LLMLingua e muitos outros; existem ports para JavaScript e outras linguagens, mantidos fora deste repositório.
Dados e privacidade
Roda localmente; a única chamada de rede é o download único da codificação do armazenamento público da OpenAI, verificado por hash SHA-256.
Custo em escala
Gratuito. A contagem usa CPU e é rápida o bastante para rodar em toda requisição.
Limites
Só codificações da OpenAI; 61 issues abertas; nomes de modelo mais novos que a versão instalada podem não ser reconhecidos; sobrecarga de mensagens, ferramentas e imagens não incluída.

O que é bom

  • Contagens exatas para modelos da OpenAI, feitas pela OpenAI
  • Núcleo em Rust, de 3x a 6x mais rápido que um tokenizador comparável segundo o README
  • Poucas dependências (regex e requests)
  • Mecanismo de plugins para codificações próprias

O que não é

  • Contagens para Claude, Gemini ou Llama são só aproximações
  • Baixa as codificações da internet no primeiro uso
  • A tabela fixa de modelos fica atrás dos nomes novos
  • Não conta a sobrecarga de chat, ferramentas ou imagens

Ideal para

Desenvolvedores que constroem sobre modelos da OpenAI e precisam de contagens de tokens rápidas e exatas para orçamento, divisão em chunks e checagem de janela de contexto.

Alternativas ao tiktoken

tiktoken: perguntas frequentes

tiktoken vale a pena?
O jeito certo de contar tokens do GPT e um jeito errado de contar os de qualquer outro. Damos nota 4.5 de 5.
Quanto custa tiktoken?
Gratuito e open source sob MIT.
Quais são as desvantagens de tiktoken?
Contagens para Claude, Gemini ou Llama são só aproximações; baixa as codificações da internet no primeiro uso; a tabela fixa de modelos fica atrás dos nomes novos; não conta a sobrecarga de chat, ferramentas ou imagens.
Para quem tiktoken é indicado?
Desenvolvedores que constroem sobre modelos da OpenAI e precisam de contagens de tokens rápidas e exatas para orçamento, divisão em chunks e checagem de janela de contexto.
Quanto custa tiktoken para uma equipe ou em produção?
Gratuito. A contagem usa CPU e é rápida o bastante para rodar em toda requisição.
tiktoken é seguro para dados da empresa?
Roda localmente; a única chamada de rede é o download único da codificação do armazenamento público da OpenAI, verificado por hash SHA-256.
Quais são as melhores alternativas ao tiktoken?
As alternativas mais próximas que analisamos são Hugging Face Transformers, LiteLLM e Chonkie.

Respostas verificadas em 20 de nov. de 2026.

Você faz o tiktoken? Mostre esta nota no seu sitetiktoken com nota 4.5 de 5 no ReviewRamble