Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Continuous batching

El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.

También llamado: iteration-level scheduling, in-flight batching, dynamic batching

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Una GPU es más eficiente cuando procesa muchas peticiones a la vez. La forma sencilla de hacerlo, el batching estático, reúne un grupo de peticiones, las ejecuta juntas y las devuelve cuando todas han terminado. Con los modelos de lenguaje eso desperdicia mucho: una petición puede necesitar una respuesta de una línea y otra un ensayo largo, así que las peticiones cortas quedan terminadas pero sin devolver mientras las nuevas esperan a que se vacíe el lote.

Cómo funciona

La generación avanza un token por paso. El artículo de Orca (OSDI 2022) propuso planificar al nivel de estos pasos y no de peticiones enteras. Tras cada paso, el servidor devuelve cualquier petición que haya terminado y coloca peticiones en espera en los huecos libres. El lote siempre está lleno de trabajo activo.

La técnica es hoy estándar. vLLM incluye el continuous batching de peticiones entrantes entre sus funciones principales, y SGLang, TensorRT-LLM (que lo llama in-flight batching) y Hugging Face TGI también lo hacen.

Por qué importa

Para quien aloja un modelo por su cuenta, el continuous batching explica en gran parte por qué un servidor de modelos moderno atiende a muchos más usuarios por GPU que un bucle ingenuo sobre `generate()`. Funciona mejor junto con PagedAttention, porque añadir y retirar peticiones en cada paso exige una memoria de caché KV flexible.

No es lo mismo que una batch API

Una batch API es una forma offline y con descuento de comprar inferencia a un proveedor. El continuous batching es un método de planificación dentro del servidor, usado para el tráfico en directo.

Equilibrio

Más peticiones simultáneas comparten la GPU, así que cada una genera un poco más despacio. Los servidores ofrecen ajustes para el tamaño máximo del lote y los tokens por paso, para que puedas equilibrar el rendimiento con el tiempo hasta el primer token.

Términos relacionados

Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
PagedAttention
PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Batch API
Una batch API (API por lotes) te permite enviar un gran conjunto de peticiones a un modelo en un solo trabajo y recoger los resultados más tarde, en lugar de esperar cada llamada. Los proveedores ejecutan el trabajo cuando hay capacidad y normalmente cobran menos por él.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.

Fuentes