Token (LLM)
Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
Também chamado: tokens
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Modelos de linguagem nunca veem letras ou palavras diretamente. Um tokenizer divide o texto em tokens e associa cada um a um número, e o modelo prevê o próximo token a partir dos anteriores.
Por que importa
Tokens são a unidade de quase todo limite prático. A janela de contexto é uma contagem de tokens. As contas de API são por token de entrada e por token de saída, como explicado em preço por token. A velocidade é informada em tokens por segundo. Compare preços na nossa pesquisa de preços de modelos de IA.
Quantos caracteres tem um token?
Depende do tokenizer e do idioma. Palavras comuns em inglês muitas vezes são um único token, enquanto palavras raras, código e muitos sistemas de escrita não ingleses se dividem em vários. A documentação da Anthropic diz que um token tem cerca de 3,5 caracteres em inglês nos seus modelos anteriores, e que o tokenizer mais novo produz cerca de 30 por cento mais tokens para o mesmo texto. O mesmo texto pode, portanto, custar valores diferentes em modelos diferentes. Use o contador de tokens do provedor para números exatos.
Não são os outros tokens
Esta página trata de unidades de texto em modelos de linguagem. Ela não tem relação com tokens de API ou de autenticação, como uma API key ou um token de acesso OAuth, nem com tokens de criptomoedas.
Termos relacionados
- Tokenizer
- Um tokenizer (tokenizador) é o componente que divide o texto em tokens e os transforma em IDs numéricos que um modelo de linguagem pode processar, e depois transforma os IDs de saída do modelo de volta em texto.
- Preço por token
- O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Tokens de saída
- Tokens de saída (output tokens) são os tokens que um modelo de linguagem gera na resposta. Eles são contados e cobrados separadamente dos tokens de entrada, e uma configuração max_tokens limita quantos uma resposta pode conter.
- Tokens por segundo
- Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.