Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
Também chamado: tok/s, throughput
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Depois que o primeiro token chega, os tokens por segundo decidem quanto tempo leva o resto da resposta. Um token é um pedaço de texto, muitas vezes parte de uma palavra, então tok/s não é palavras por segundo, e o mesmo texto pode dar contagens diferentes em tokenizers diferentes.
Por usuário e por sistema
Esses dois números respondem a perguntas diferentes. A velocidade por usuário é o que uma pessoa vê enquanto uma resposta chega. O throughput por sistema, como a documentação de benchmarking da NVIDIA o define, é o throughput total de tokens de saída em todas as requisições simultâneas. Adicionar mais requisições simultâneas geralmente aumenta o throughput do sistema até a GPU saturar, enquanto o stream de cada usuário fica mais lento. Provedores e benchmarks nem sempre dizem a qual deles se referem.
O que limita
Durante a decodificação, cada novo token exige que os pesos do modelo sejam lidos da memória, então a velocidade depende muito da largura de banda da memória e do tamanho do modelo. Por isso a quantização, os modelos menores e os modelos mixture-of-experts, que usam só parte dos pesos por token, muitas vezes geram mais rápido. O speculative decoding e o continuous batching são formas comuns de aumentar a velocidade em um serving engine.
Como usar o número
Para modelos locais, nossa calculadora de GPU estima se um modelo cabe na VRAM e quão rápido ele pode rodar. Para modelos hospedados, meça com os seus próprios prompts, já que o tamanho da saída, o tamanho do prompt e a carga do servidor mudam o resultado. Combine-o com o time to first token para estimar o tempo total de resposta.
Termos relacionados
- Time to first token
- Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Inferência
- Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
- Speculative decoding
- O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.