Tokenizer
Um tokenizer (tokenizador) é o componente que divide o texto em tokens e os transforma em IDs numéricos que um modelo de linguagem pode processar, e depois transforma os IDs de saída do modelo de volta em texto.
Também chamado: tokenization, BPE, byte pair encoding
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Todo modelo de linguagem vem com o seu próprio tokenizer, fixado no momento do treinamento. Você não pode trocá-lo por outro sem treinar o modelo de novo.
Como funciona
A maioria dos tokenizers modernos usa unidades de subpalavra. Um artigo de 2015 de Sennrich e colegas mostrou que palavras raras e desconhecidas podem ser codificadas como sequências de unidades de subpalavra, usando uma segmentação baseada em byte pair encoding (BPE). O BPE parte de caracteres ou bytes e funde repetidamente os pares mais frequentes em novas entradas do vocabulário. Palavras comuns acabam virando um único token, e palavras raras se dividem em pedaços, então o modelo ainda consegue lidar com uma palavra que nunca viu.
Por que interessa a quem constrói
O tokenizer decide em quantos tokens o seu texto se transforma, o que define custo, velocidade e quanto cabe na janela de contexto. Tokenizers treinados principalmente em inglês podem dividir outros idiomas em muito mais tokens, deixando-os mais lentos e mais caros. Espaços, números e formatação de código podem ser tokenizados de formas surpreendentes, o que ajuda a explicar por que os modelos às vezes têm dificuldade para contar letras ou fazer contas com dígitos.
Na prática
Use o tokenizer correspondente ao seu modelo ao contar tokens. A biblioteca Transformers do Hugging Face carrega o tokenizer correspondente para cada modelo.
Termos relacionados
- Token (LLM)
- Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Embedding
- Um embedding (representação vetorial) é uma lista de números (um vetor) que representa um trecho de texto, uma imagem ou outros dados, produzida de forma que itens com significado parecido acabem com vetores próximos entre si.