Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Model serving

Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.

Também chamado: inference server, serving engine

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

Chamar `generate()` em um notebook funciona para um usuário. Um produto precisa de um servidor que muitos usuários possam acessar ao mesmo tempo sem ficar sem memória nem fazer todos esperarem. Esse software é um serving engine, também chamado de servidor de inferência. Exemplos open source comuns para LLMs são o vLLM, o SGLang e o servidor do llama.cpp.

O que um serving engine faz

Ele carrega os pesos do modelo na VRAM, muitas vezes divididos entre várias GPUs com tensor parallelism. Ele aceita requisições, geralmente por uma API compatível com a OpenAI, e devolve os tokens em streaming. A principal tarefa é o throughput: o artigo do PagedAttention observa que servir com alto throughput exige agrupar muitas requisições de uma vez. Os engines usam continuous batching para que novas requisições entrem em um lote em andamento, e gerenciam o KV cache com cuidado, já que memória de cache desperdiçada limita quantas requisições cabem.

Self-hosted ou gerenciado

Você pode rodar um serving engine nas suas próprias máquinas ou em GPUs alugadas (self-hosting), em uma plataforma de GPU serverless, ou pular essa etapa e pagar um provedor de inferência por token. O self-hosting dá controle sobre modelos, dados e custo em alto volume, mas você assume o planejamento de capacidade, as atualizações e o monitoramento. O guia de inference serving compara as opções.

O que medir

Acompanhe o time to first token, os tokens por segundo por usuário e por sistema, a taxa de erros e o uso de memória da GPU. Otimizar um deles, como lotes maiores para throughput, muitas vezes piora outro, como a latência de cada usuário.

Termos relacionados

Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Continuous batching
Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.
Self-hosting (modelos de IA)
Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
Provedor de inferência
Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.
API compatível com a OpenAI
Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.

Fontes