O que é llama.cpp?
O llama.cpp roda grandes modelos de linguagem em hardware comum. Ele é escrito em C e C++ com poucas dependências e suporta CPUs, Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan, Intel SYCL, WebGPU e uma dúzia de outros backends.
Ele define o GGUF, o formato de arquivo único em que a maioria dos modelos locais é compartilhada, quantiza modelos de 1.5 bit a 8 bits para que caibam em menos memória, e traz o llama-server, um servidor HTTP com uma API compatível com OpenAI. Muitos apps mais conhecidos são construídos sobre ele, incluindo o llamafile e, historicamente, o Ollama.
O projeto ainda marca builds várias vezes por dia, mas em outubro de 2026 também começou a lançar versões numeradas: v0.6.0 em 5 de outubro e v0.7.0 em 15 de outubro. A v0.7.0 mudou a porta padrão do servidor de 8080 para 9931.
llama.cpp vale a pena?
O llama.cpp continua sendo o motor que decide o que roda em um notebook, e suas novas versões numeradas facilitam depender dele. O repositório tem cerca de 132.100 estrelas no GitHub, tags de build continuam chegando várias vezes por dia, e a v0.7.0, de 15 de outubro de 2026, adicionou suporte a mais de dez famílias de modelos de uma vez, do K2 Horizon ao Nemotron Super 3.5 VL.
O alcance é o ponto. Uma única base de código cobre CPUs x86 e ARM, Apple silicon e hardware NVIDIA, AMD, Intel, Ascend e Snapdragon, e o GGUF é o jeito padrão de compartilhar modelos locais no Hugging Face. O trabalho recente ataca diretamente o limite de memória: o cache de experts da v0.7.0 mantém os pesos de mixture-of-experts na RAM do host e os roda na GPU a partir de um cache LRU, o que, segundo os mantenedores, acelera a decodificação em até 2.2 vezes quando os experts são descarregados.
O custo desse ritmo é instabilidade e exposição. Flags e padrões mudam; a v0.7.0 passou o servidor para a porta 9931 e transformou a saída de chat formatada em um array de partes, duas mudanças que quebram scripts. A segurança também exige atenção. O parsing de GGUF teve uma série de alertas de heap overflow, e em março de 2026 um alerta crítico (CVE-2026-34159) permitia execução remota de código sem autenticação pelo backend RPC, que o próprio projeto chama de frágil e inseguro. O servidor se vincula a 127.0.0.1 por padrão e não tem chave de API até você definir uma.
Para muitos usuários simultâneos em GPUs de data center, vLLM e SGLang agrupam requisições com muito mais eficiência, e para uma experiência desktop com um único comando, Ollama e llamafile escondem os ajustes. O llama.cpp fica por baixo dos dois tipos de usuário, e é por isso que a chegada do suporte aqui costuma decidir quando um novo modelo aberto se torna viável em hardware de consumo.
Onde ele se destaca
Uma desenvolvedora com um notebook Apple silicon
Rodar offline um modelo capaz de programação ou chat
Instalar com o script de uma linha do llama.app; depois `llama serve -hf <repo>` baixa um GGUF e inicia um endpoint compatível com OpenAI no localhost para o qual editores e agentes podem apontar. Não há custo por token; a contrapartida é uma saída mais lenta e um modelo menor do que uma API de nuvem oferece.
Um engenheiro de plataforma em uma empresa de 200 pessoas com regras de residência de dados
Servir um assistente interno em uma ou duas GPUs locais
O llama-server com slots paralelos, uma chave de API e um proxy reverso na frente lida com concorrência modesta e mantém os prompts no hardware da empresa. Sob carga pesada, o agrupamento do vLLM tira mais das mesmas GPUs, então isso serve mais a um piloto do que a uma implantação para a empresa inteira.
Uma equipe mobile lançando um assistente no próprio aparelho em celulares Snapdragon
Colocar um pequeno modelo quantizado dentro de um app
A biblioteca C/C++ se liga diretamente ao app, com backends Hexagon e OpenCL (Adreno) para chips Qualcomm e quantização de 1.5 bit a 8 bits para caber na memória. A licença MIT permite distribuição comercial de código fechado; reserve tempo para as mudanças frequentes no llama.h.
Antes de decidir
- Configuração
- Instaladores de uma linha do llama.app (shell no macOS e Linux, PowerShell no Windows), binários pré-compilados na página de versões, imagens Docker ou build a partir do código. Com um GGUF do Hugging Face, uma primeira resposta leva minutos, a maior parte em download.
- Integrações
- O llama-server expõe uma API compatível com OpenAI e uma interface web com gerenciador de modelos; editores, agentes e apps de chat se conectam por essa API. Os backends incluem CUDA, Metal, HIP, Vulkan, SYCL, CANN, Hexagon, WebGPU e RPC para dividir um modelo entre máquinas.
- Dados e privacidade
- Roda localmente, e os modelos só são baixados do Hugging Face quando você pede; o README não menciona telemetria e uma busca de código no GitHub não encontra código de telemetria. O servidor escuta em 127.0.0.1:9931 sem chave de API por padrão (as imagens Docker mantêm a 8080). O servidor RPC nunca deve ficar exposto a uma rede aberta: a CVE-2026-34159, classificada como crítica, permitia execução de código sem autenticação por ele. Licença MIT.
- Custo em escala
- Gratuito sob MIT, sem edição paga, então o custo é o hardware. Máquinas só com CPU e com Apple silicon dão conta de modelos pequenos; na Lambda, uma A10 (24 GB) custa $1.29 por hora e uma H100 PCIe $3.29, cerca de $940 e $2,400 por mês se ficarem ligadas.
- Limites
- Cerca de 2.600 issues e pull requests abertos. Flags do servidor e formatos de saída mudam entre versões, a vazão com alta concorrência fica atrás de vLLM e SGLang, e o projeto descreve o backend RPC como prova de conceito.
O que é bom
- Roda em quase qualquer hardware, incluindo máquinas só com CPU
- GGUF e as ferramentas de quantização são o padrão da comunidade
- Servidor compatível com OpenAI vinculado ao localhost por padrão
- Novas arquiteturas de modelos chegam rápido
O que não é
- Flags e padrões mudam com frequência; a porta padrão passou para 9931 na v0.7.0
- Alertas de segurança repetidos em parsing de GGUF e RPC em 2025 e 2026
- Não foi feito para servir em GPU com alta concorrência
Ideal para
Desenvolvedores que querem controle direto sobre a execução de modelos abertos localmente, em dispositivos de borda ou em servidores modestos.
Alternativas ao llama.cpp
llama.cpp: perguntas frequentes
- llama.cpp vale a pena?
- Se um modelo aberto roda em um notebook, quase certamente roda pelo llama.cpp, e nada mais cobre tanto hardware. Damos nota 4.8 de 5.
- Quanto custa llama.cpp?
- Gratuito e de código aberto sob a licença MIT. Sem edição paga.
- Quais são as desvantagens de llama.cpp?
- Flags e padrões mudam com frequência; a porta padrão passou para 9931 na v0.7.0; alertas de segurança repetidos em parsing de GGUF e RPC em 2025 e 2026; não foi feito para servir em GPU com alta concorrência.
- Para quem llama.cpp é indicado?
- Desenvolvedores que querem controle direto sobre a execução de modelos abertos localmente, em dispositivos de borda ou em servidores modestos.
- Quanto custa llama.cpp para uma equipe ou em produção?
- Gratuito sob MIT, sem edição paga, então o custo é o hardware. Máquinas só com CPU e com Apple silicon dão conta de modelos pequenos; na Lambda, uma A10 (24 GB) custa $1.29 por hora e uma H100 PCIe $3.29, cerca de $940 e $2,400 por mês se ficarem ligadas.
- llama.cpp é seguro para dados da empresa?
- Roda localmente, e os modelos só são baixados do Hugging Face quando você pede; o README não menciona telemetria e uma busca de código no GitHub não encontra código de telemetria. O servidor escuta em 127.0.0.1:9931 sem chave de API por padrão (as imagens Docker mantêm a 8080). O servidor RPC nunca deve ficar exposto a uma rede aberta: a CVE-2026-34159, classificada como crítica, permitia execução de código sem autenticação por ele. Licença MIT.
- Quais são as melhores alternativas ao llama.cpp?
- As alternativas mais próximas que analisamos são Ollama, llamafile, MLX e vLLM.
Respostas verificadas em 26 de out. de 2026.