Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
También llamado: inference server, serving engine
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Llamar a `generate()` en un notebook funciona para un usuario. Un producto necesita un servidor al que muchos usuarios puedan acceder a la vez sin quedarse sin memoria ni hacer esperar a todos. Ese software es un motor de serving, también llamado servidor de inferencia. Ejemplos habituales de código abierto para LLM son vLLM, SGLang y el servidor de llama.cpp.
Qué hace un motor de serving
Carga los pesos del modelo en la VRAM, a menudo repartidos entre varias GPU con tensor parallelism. Acepta peticiones, normalmente mediante una API compatible con OpenAI, y devuelve los tokens en streaming. Su tarea principal es el throughput: el artículo de PagedAttention señala que el serving de alto rendimiento exige agrupar muchas peticiones a la vez. Los motores usan continuous batching para que las peticiones nuevas se unan a un lote en curso, y gestionan con cuidado la KV cache, ya que la memoria de caché desperdiciada limita cuántas peticiones caben.
Autoalojado o gestionado
Puedes ejecutar un motor de serving en tus propias máquinas o en GPU alquiladas (self-hosting), en una plataforma de GPU serverless, o saltártelo y pagar por token a un proveedor de inferencia. El autoalojamiento te da control sobre los modelos, los datos y el coste a gran volumen, pero asumes la planificación de capacidad, las actualizaciones y la monitorización. La guía de serving de inferencia compara las opciones.
Qué medir
Sigue el tiempo hasta el primer token, los tokens por segundo por usuario y por sistema, la tasa de errores y el uso de memoria de la GPU. Ajustar uno, como lotes más grandes para el throughput, a menudo empeora otro, como la latencia de cada usuario.
Términos relacionados
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- Continuous batching
- El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.
- Self-hosting (modelos de IA)
- Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.
- Proveedor de inferencia
- Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.
- API compatible con OpenAI
- Una API compatible con OpenAI (OpenAI-compatible API) es un endpoint de otro proveedor o herramienta que acepta el mismo formato de petición y respuesta que la API de OpenAI, de modo que el código escrito para OpenAI puede pasarse a él cambiando la URL base, la clave y el nombre del modelo.