Tiempo hasta el primer token
El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
También llamado: TTFT, latency
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
El TTFT es el retraso antes de que aparezca algo en pantalla. En asistentes de chat, de voz y de programación suele ser lo que hace que un modelo parezca rápido o lento, incluso más que el tiempo total de generación, porque una respuesta en streaming permite a los usuarios empezar a leer en cuanto llega el primer token.
Qué lo compone
La documentación de benchmarking de NVIDIA describe el TTFT como algo que en general incluye el tiempo en cola de la petición, el tiempo de prefill y la latencia de red. El prefill es el paso en el que el modelo lee todo el prompt y construye su KV cache, así que los prompts más largos aumentan el TTFT. Un servidor ocupado añade tiempo de cola. La distancia al centro de datos añade tiempo de red.
En qué se diferencia del throughput
Después del primer token, la velocidad se mide como latencia entre tokens o como tokens por segundo. Un modelo puede tener un TTFT bajo y una generación lenta, o al revés. El tiempo total de respuesta es aproximadamente el TTFT más el número de tokens de salida por el tiempo por token. Los modelos de razonamiento también pueden gastar tiempo en tokens de razonamiento ocultos antes de que empiece la respuesta visible, lo que los usuarios perciben como un TTFT largo.
Cómo reducirlo
Mantén los prompts cortos o reutiliza un prefijo fijo con prompt caching, que se salta la mayor parte del trabajo de prefill. Elige un modelo más pequeño o una región del proveedor cercana a los usuarios. Si haces self-hosting, evita sobrecargar el servidor, porque la cola pasa a dominar enseguida. Al comparar proveedores, mide el TTFT con tus propias longitudes de prompt y con una carga realista, y mira los percentiles en lugar de la media. Consulta la guía de serving de inferencia para ver motores y proveedores.
Términos relacionados
- Tokens por segundo
- Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- Prompt caching
- El prompt caching (caché de prompts) es una función de las API que guarda la forma procesada de un prefijo de prompt repetido, como un system prompt o un documento largo, para que las peticiones posteriores que empiezan con el mismo prefijo sean más baratas y rápidas.
- Streaming (salida de LLM)
- El streaming envía la salida de un LLM al cliente fragmento a fragmento a medida que se generan los tokens, en lugar de esperar a la respuesta completa. Los usuarios ven aparecer texto en unos instantes, aunque la respuesta completa tarde mucho más.