GGUF
GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
Também chamado: GGUF file
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Se você baixa um modelo para rodar localmente, muitas vezes vai ver arquivos terminados em .gguf. O formato vem do projeto GGML, a biblioteca de tensores por trás do llama.cpp, e é o formato usado pelo Ollama e pelo LM Studio.
O que há dentro
Um arquivo GGUF guarda os tensores do modelo mais metadados em pares chave-valor: a arquitetura, o tokenizer, o tamanho do contexto e os detalhes da quantização. A especificação lista a implantação em arquivo único como objetivo, então o modelo carrega sem arquivos de configuração extras. Os modelos geralmente são treinados em PyTorch e depois convertidos para GGUF.
GGUF e quantização
O GGUF pode guardar pesos em precisão total, mas a maioria dos downloads em GGUF é quantizada. Um mesmo modelo muitas vezes é publicado em vários arquivos, como Q8_0, Q5_K_M e Q4_K_M, cada um trocando tamanho por qualidade. Escolha o maior que caiba na sua memória com folga para o contexto. A calculadora de GPU ajuda nisso.
GGUF vs safetensors
O safetensors é o formato habitual para pesos em precisão total no Hugging Face, usado por bibliotecas Python e servidores de GPU como o vLLM. O GGUF mira a inferência local, amigável à CPU e ao Apple Silicon. Os dois servem a runtimes diferentes, e scripts de conversão levam os modelos de um para o outro.
Termos relacionados
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
- Safetensors
- Safetensors é um formato de arquivo do Hugging Face para armazenar pesos de modelos. Ao contrário dos arquivos pickle do Python, carregá-lo não pode executar código oculto, e ele permite carregar tensores individuais de forma rápida, com mapeamento em memória.
- LLM local
- Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
- Pesos do modelo
- Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
- Self-hosting (modelos de IA)
- Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.