Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LLM local

Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.

Também chamado: run locally, on-device model, Edge AI, on-device AI

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

Rodar um modelo localmente ficou viável quando modelos open-weight capazes foram lançados e ferramentas tornaram fácil rodar versões quantizadas. Uma configuração típica baixa um modelo no formato GGUF e o roda com o llama.cpp, cujo objetivo declarado é inferência com configuração mínima em uma grande variedade de hardware, ou com uma camada mais amigável como o Ollama ou o LM Studio. A maioria deles expõe uma API compatível com a OpenAI, então o código existente pode apontar para o modelo local.

Por que as pessoas fazem isso

Privacidade e controle são os principais motivos: nada sai da máquina, o que importa para documentos sensíveis e para uso offline. Não há cobrança por token, e o modelo não vai mudar nem ser aposentado sem aviso. Também é uma forma barata de experimentar.

Prós e contras

O modelo precisa caber na VRAM ou na memória unificada, o que limita o tamanho; a calculadora de GPU ajuda a conferir. Modelos locais costumam ser menores e menos capazes que os maiores modelos de fronteira hospedados, e a velocidade depende do seu hardware. Você é responsável pelas atualizações e por verificar a licença do modelo.

Edge AI

Edge AI, ou IA no dispositivo, é a ideia mais ampla de rodar modelos no aparelho onde os dados são produzidos, como celulares, câmeras, carros e sensores, em vez de em um data center. Ela abrange pequenos modelos de visão e de fala, além de modelos de linguagem pequenos, e muitas vezes roda em uma NPU. O Google AI Edge é um exemplo de kit de ferramentas para implantar modelos em dispositivos.

Termos relacionados

GGUF
GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
Self-hosting (modelos de IA)
Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
Modelo de linguagem pequeno
Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.
NPU
Uma NPU (neural processing unit, unidade de processamento neural) é um chip, ou um bloco dentro de um chip maior, feito para rodar os cálculos de redes neurais com rapidez e pouco consumo de energia. Celulares e notebooks usam NPUs para rodar pequenos modelos de IA no próprio aparelho.

Fontes