LLM local
Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
Também chamado: run locally, on-device model, Edge AI, on-device AI
Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos
Rodar um modelo localmente ficou viável quando modelos open-weight capazes foram lançados e ferramentas tornaram fácil rodar versões quantizadas. Uma configuração típica baixa um modelo no formato GGUF e o roda com o llama.cpp, cujo objetivo declarado é inferência com configuração mínima em uma grande variedade de hardware, ou com uma camada mais amigável como o Ollama ou o LM Studio. A maioria deles expõe uma API compatível com a OpenAI, então o código existente pode apontar para o modelo local.
Por que as pessoas fazem isso
Privacidade e controle são os principais motivos: nada sai da máquina, o que importa para documentos sensíveis e para uso offline. Não há cobrança por token, e o modelo não vai mudar nem ser aposentado sem aviso. Também é uma forma barata de experimentar.
Prós e contras
O modelo precisa caber na VRAM ou na memória unificada, o que limita o tamanho; a calculadora de GPU ajuda a conferir. Modelos locais costumam ser menores e menos capazes que os maiores modelos de fronteira hospedados, e a velocidade depende do seu hardware. Você é responsável pelas atualizações e por verificar a licença do modelo.
Edge AI
Edge AI, ou IA no dispositivo, é a ideia mais ampla de rodar modelos no aparelho onde os dados são produzidos, como celulares, câmeras, carros e sensores, em vez de em um data center. Ela abrange pequenos modelos de visão e de fala, além de modelos de linguagem pequenos, e muitas vezes roda em uma NPU. O Google AI Edge é um exemplo de kit de ferramentas para implantar modelos em dispositivos.
Termos relacionados
- GGUF
- GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Self-hosting (modelos de IA)
- Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
- Modelo de linguagem pequeno
- Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.
- NPU
- Uma NPU (neural processing unit, unidade de processamento neural) é um chip, ou um bloco dentro de um chip maior, feito para rodar os cálculos de redes neurais com rapidez e pouco consumo de energia. Celulares e notebooks usam NPUs para rodar pequenos modelos de IA no próprio aparelho.