Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Time to first token

Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.

Também chamado: TTFT, latency

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

O TTFT é o atraso antes de qualquer coisa aparecer na tela. Para assistentes de chat, de voz e de código, muitas vezes é ele que faz um modelo parecer rápido ou lento, até mais que o tempo total de geração, porque uma resposta em streaming permite que os usuários comecem a ler assim que chega o primeiro token.

O que entra nele

A documentação de benchmarking da NVIDIA descreve o TTFT como incluindo, em geral, o tempo de fila da requisição, o tempo de prefill e a latência de rede. Prefill é a etapa em que o modelo lê o prompt inteiro e monta seu KV cache, então prompts mais longos aumentam o TTFT. Um servidor ocupado adiciona tempo de fila. A distância até o data center adiciona tempo de rede.

Como difere do throughput

Depois do primeiro token, a velocidade é medida como latência entre tokens ou tokens por segundo. Um modelo pode ter TTFT baixo e geração lenta, ou o contrário. O tempo total de resposta é aproximadamente o TTFT mais o número de tokens de saída vezes o tempo por token. Modelos de raciocínio também podem gastar tempo com tokens de pensamento ocultos antes de a resposta visível começar, o que os usuários percebem como um TTFT longo.

Como reduzi-lo

Mantenha os prompts curtos ou reutilize um prefixo fixo com prompt caching, que pula a maior parte do trabalho de prefill. Escolha um modelo menor ou uma região do provedor perto dos usuários. No self-hosting, evite sobrecarregar o servidor, já que a fila rapidamente domina. Ao comparar provedores, meça o TTFT com os seus próprios tamanhos de prompt e com carga realista, e olhe os percentis em vez da média. Veja o guia de inference serving para engines e provedores.

Termos relacionados

Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Prompt caching
Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
Streaming (saída de LLM)
O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.

Fontes