Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
También llamado: tok/s, throughput
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Una vez que ha llegado el primer token, los tokens por segundo deciden cuánto tarda el resto de la respuesta. Un token es un fragmento de texto, a menudo parte de una palabra, así que tok/s no son palabras por segundo, y el mismo texto puede dar recuentos distintos con distintos tokenizadores.
Por usuario y por sistema
Estas dos cifras responden a preguntas distintas. La velocidad por usuario es lo que ve una persona mientras llega una respuesta. El throughput por sistema, tal como lo define la documentación de benchmarking de NVIDIA, es el throughput total de tokens de salida de todas las peticiones simultáneas. Añadir más peticiones simultáneas suele aumentar el throughput del sistema hasta que la GPU se satura, mientras que el flujo de cada usuario se vuelve más lento. Los proveedores y los benchmarks no siempre dicen a cuál se refieren.
Qué lo limita
Durante la decodificación, cada token nuevo exige leer de la memoria los pesos del modelo, así que la velocidad depende mucho del ancho de banda de memoria y del tamaño del modelo. Por eso la cuantización, los modelos más pequeños y los modelos mixture-of-experts, que solo usan parte de sus pesos por token, suelen generar más rápido. La decodificación especulativa y el continuous batching son formas habituales de aumentar la velocidad en un motor de serving.
Cómo usar la cifra
Para modelos locales, nuestra calculadora de GPU estima si un modelo cabe en la VRAM y a qué velocidad puede funcionar. Para modelos alojados, mide con tus propios prompts, porque la longitud de la salida, la del prompt y la carga del servidor cambian el resultado. Combínala con el tiempo hasta el primer token para estimar el tiempo total de respuesta.
Términos relacionados
- Tiempo hasta el primer token
- El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
- Decodificación especulativa
- La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.