Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
Também chamado: model inference
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
O treinamento define os pesos de um modelo; a inferência os usa. Para um grande modelo de linguagem, inferência significa pegar um prompt, dividi-lo em tokens e prever o próximo token várias e várias vezes, realimentando cada novo token, até o modelo parar ou atingir um limite de tamanho.
Duas fases
A inferência de LLMs tem uma fase de prefill e uma fase de decode. O prefill lê o prompt inteiro de uma vez e constrói o KV cache; ele define o time to first token. O decode então produz um token por passo, e sua velocidade é medida em tokens por segundo. O prefill é limitado principalmente pela capacidade de cálculo; o decode, principalmente pela velocidade com que a GPU consegue ler os pesos da memória.
Por que isso importa para quem constrói
O treinamento acontece uma vez; a inferência acontece em cada requisição, então ela geralmente domina o custo de operação de um produto de IA. Você pode comprá-la por token de um provedor de inferência ou rodá-la você mesmo com um mecanismo de serving de modelos como o vLLM. Escolhas como quantização, batching e speculative decoding equilibram velocidade, custo e qualidade entre si. O guia de serving de inferência compara as opções.
Não é o mesmo que raciocínio
"Inferência" aqui é um termo de engenharia para rodar um modelo. Não significa que o modelo está tirando conclusões lógicas. Modelos de raciocínio gastam mais computação de inferência por resposta, o que se chama test-time compute.
Termos relacionados
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
- Time to first token
- Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
- Tokens por segundo
- Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
- KV cache
- Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
- Provedor de inferência
- Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.