Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Inferência

Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.

Também chamado: model inference

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

O treinamento define os pesos de um modelo; a inferência os usa. Para um grande modelo de linguagem, inferência significa pegar um prompt, dividi-lo em tokens e prever o próximo token várias e várias vezes, realimentando cada novo token, até o modelo parar ou atingir um limite de tamanho.

Duas fases

A inferência de LLMs tem uma fase de prefill e uma fase de decode. O prefill lê o prompt inteiro de uma vez e constrói o KV cache; ele define o time to first token. O decode então produz um token por passo, e sua velocidade é medida em tokens por segundo. O prefill é limitado principalmente pela capacidade de cálculo; o decode, principalmente pela velocidade com que a GPU consegue ler os pesos da memória.

Por que isso importa para quem constrói

O treinamento acontece uma vez; a inferência acontece em cada requisição, então ela geralmente domina o custo de operação de um produto de IA. Você pode comprá-la por token de um provedor de inferência ou rodá-la você mesmo com um mecanismo de serving de modelos como o vLLM. Escolhas como quantização, batching e speculative decoding equilibram velocidade, custo e qualidade entre si. O guia de serving de inferência compara as opções.

Não é o mesmo que raciocínio

"Inferência" aqui é um termo de engenharia para rodar um modelo. Não significa que o modelo está tirando conclusões lógicas. Modelos de raciocínio gastam mais computação de inferência por resposta, o que se chama test-time compute.

Termos relacionados

Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
Time to first token
Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
Provedor de inferência
Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.

Fontes