Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
Também chamado: inference server, serving engine
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Chamar `generate()` em um notebook funciona para um usuário. Um produto precisa de um servidor que muitos usuários possam acessar ao mesmo tempo sem ficar sem memória nem fazer todos esperarem. Esse software é um serving engine, também chamado de servidor de inferência. Exemplos open source comuns para LLMs são o vLLM, o SGLang e o servidor do llama.cpp.
O que um serving engine faz
Ele carrega os pesos do modelo na VRAM, muitas vezes divididos entre várias GPUs com tensor parallelism. Ele aceita requisições, geralmente por uma API compatível com a OpenAI, e devolve os tokens em streaming. A principal tarefa é o throughput: o artigo do PagedAttention observa que servir com alto throughput exige agrupar muitas requisições de uma vez. Os engines usam continuous batching para que novas requisições entrem em um lote em andamento, e gerenciam o KV cache com cuidado, já que memória de cache desperdiçada limita quantas requisições cabem.
Self-hosted ou gerenciado
Você pode rodar um serving engine nas suas próprias máquinas ou em GPUs alugadas (self-hosting), em uma plataforma de GPU serverless, ou pular essa etapa e pagar um provedor de inferência por token. O self-hosting dá controle sobre modelos, dados e custo em alto volume, mas você assume o planejamento de capacidade, as atualizações e o monitoramento. O guia de inference serving compara as opções.
O que medir
Acompanhe o time to first token, os tokens por segundo por usuário e por sistema, a taxa de erros e o uso de memória da GPU. Otimizar um deles, como lotes maiores para throughput, muitas vezes piora outro, como a latência de cada usuário.
Termos relacionados
- Inferência
- Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Continuous batching
- Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.
- Self-hosting (modelos de IA)
- Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
- Provedor de inferência
- Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.
- API compatível com a OpenAI
- Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.