GPU serverless
GPU serverless (serverless GPU) é um modelo de nuvem em que você implanta código ou um modelo e a plataforma inicia workers de GPU só quando chegam requisições, cobrando pelo tempo em que rodam e escalando a zero quando ociosa.
Também chamado: serverless inference
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Com um servidor de GPU alugado, você paga por hora esteja ele ocupado ou não, e gerencia a máquina. Plataformas de GPU serverless, como o produto Serverless da Runpod, Modal, Replicate e Baseten, cuidam das máquinas. Você empacota um modelo e um handler, a plataforma roda contêineres em GPUs quando chega tráfego, adiciona mais sob carga e os remove quando o tráfego para. A documentação da Runpod, por exemplo, diz que você paga só enquanto os workers rodam e que eles escalam a zero após um curto tempo ocioso.
Quando faz sentido
Combina com tráfego irregular ou baixo: uma ferramenta interna, um job em lote que roda toda noite, um modelo de imagem usado algumas vezes por hora ou um protótipo. Você evita pagar por GPUs ociosas e não precisa operar seu próprio cluster de model serving.
Cold starts
O principal custo é o cold start. Quando nenhum worker está rodando, a plataforma precisa iniciar um contêiner e carregar o modelo na memória da GPU antes de poder responder. Modelos grandes demoram mais para carregar, então a primeira requisição depois de um período tranquilo pode ser lenta. As plataformas oferecem opções como manter um número mínimo de workers aquecidos, a um custo extra, ou guardar os arquivos do modelo em cache perto da GPU.
Comparado a outras opções
Em volume alto e constante, uma GPU dedicada de uma AI GPU cloud ou o self-hosting costumam ser mais baratos por requisição. Se você só precisa de modelos populares, um provedor de inferência cobrado por token evita todo o trabalho de deployment. Veja o guia de deployment para as opções.
Termos relacionados
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
- Nuvem de GPU
- Uma nuvem de GPU (GPU cloud) é um serviço que aluga máquinas com GPU por hora ou por segundo para treinamento, fine-tuning e inferência de IA. Provedores especializados, às vezes chamados de neoclouds, focam em GPUs e muitas vezes cobram menos do que as grandes nuvens generalistas.
- Provedor de inferência
- Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.
- Self-hosting (modelos de IA)
- Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
- GPU
- Uma GPU (graphics processing unit, unidade de processamento gráfico) é um processador com muitos núcleos pequenos, feito para executar muitos cálculos em paralelo. Sua velocidade em operações com matrizes faz dela o hardware padrão para treinar e rodar modelos de IA.