GPU serverless
La GPU serverless es un modelo de nube en el que despliegas código o un modelo y la plataforma solo arranca workers con GPU cuando llegan peticiones, factura el tiempo que funcionan y escala a cero cuando no hay actividad.
También llamado: serverless inference
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Con un servidor de GPU alquilado pagas por horas esté ocupado o no, y gestionas la máquina. Las plataformas de GPU serverless, como el producto Serverless de Runpod, Modal, Replicate y Baseten, se ocupan de las máquinas. Empaquetas un modelo y un handler, la plataforma ejecuta contenedores en GPU cuando llega tráfico, añade más con carga y los retira cuando el tráfico se detiene. La documentación de Runpod, por ejemplo, dice que solo pagas mientras funcionan los workers y que estos escalan a cero tras un breve tiempo de inactividad.
Cuándo encaja
Va bien con tráfico irregular o bajo: una herramienta interna, una tarea por lotes que se ejecuta cada noche, un modelo de imagen que se usa unas pocas veces por hora o un prototipo. Evitas pagar por GPU ociosas y no necesitas gestionar tu propio clúster de serving de modelos.
Arranques en frío
El coste principal es el arranque en frío. Cuando no hay ningún worker funcionando, la plataforma tiene que iniciar un contenedor y cargar el modelo en la memoria de la GPU antes de poder responder. Los modelos grandes tardan más en cargar, así que la primera petición tras un periodo tranquilo puede ser lenta. Las plataformas ofrecen opciones como mantener un número mínimo de workers en caliente, con coste adicional, o guardar en caché los archivos del modelo cerca de la GPU.
Comparado con otras opciones
Con un volumen alto y constante, una GPU dedicada de una nube de GPU o el self-hosting suelen salir más baratos por petición. Si solo necesitas modelos populares, un proveedor de inferencia que cobra por token evita por completo el trabajo de despliegue. Consulta la guía de despliegue para ver opciones.
Términos relacionados
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
- Nube de GPU
- Una nube de GPU (GPU cloud) es un servicio que alquila máquinas con GPU por horas o por segundos para entrenamiento, fine-tuning e inferencia de IA. Los proveedores especializados, a veces llamados neoclouds, se centran en las GPU y a menudo cobran menos que las grandes nubes generalistas.
- Proveedor de inferencia
- Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.
- Self-hosting (modelos de IA)
- Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.
- GPU
- Una GPU (unidad de procesamiento gráfico) es un procesador con muchos núcleos pequeños diseñado para ejecutar muchos cálculos en paralelo. Su velocidad con las operaciones de matrices la convierte en el hardware estándar para entrenar y ejecutar modelos de IA.