Time to first token
Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
Também chamado: TTFT, latency
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
O TTFT é o atraso antes de qualquer coisa aparecer na tela. Para assistentes de chat, de voz e de código, muitas vezes é ele que faz um modelo parecer rápido ou lento, até mais que o tempo total de geração, porque uma resposta em streaming permite que os usuários comecem a ler assim que chega o primeiro token.
O que entra nele
A documentação de benchmarking da NVIDIA descreve o TTFT como incluindo, em geral, o tempo de fila da requisição, o tempo de prefill e a latência de rede. Prefill é a etapa em que o modelo lê o prompt inteiro e monta seu KV cache, então prompts mais longos aumentam o TTFT. Um servidor ocupado adiciona tempo de fila. A distância até o data center adiciona tempo de rede.
Como difere do throughput
Depois do primeiro token, a velocidade é medida como latência entre tokens ou tokens por segundo. Um modelo pode ter TTFT baixo e geração lenta, ou o contrário. O tempo total de resposta é aproximadamente o TTFT mais o número de tokens de saída vezes o tempo por token. Modelos de raciocínio também podem gastar tempo com tokens de pensamento ocultos antes de a resposta visível começar, o que os usuários percebem como um TTFT longo.
Como reduzi-lo
Mantenha os prompts curtos ou reutilize um prefixo fixo com prompt caching, que pula a maior parte do trabalho de prefill. Escolha um modelo menor ou uma região do provedor perto dos usuários. No self-hosting, evite sobrecarregar o servidor, já que a fila rapidamente domina. Ao comparar provedores, meça o TTFT com os seus próprios tamanhos de prompt e com carga realista, e olhe os percentis em vez da média. Veja o guia de inference serving para engines e provedores.
Termos relacionados
- Tokens por segundo
- Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
- Inferência
- Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Prompt caching
- Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
- Streaming (saída de LLM)
- O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.