Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

GGUF

GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.

Também chamado: GGUF file

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Se você baixa um modelo para rodar localmente, muitas vezes vai ver arquivos terminados em .gguf. O formato vem do projeto GGML, a biblioteca de tensores por trás do llama.cpp, e é o formato usado pelo Ollama e pelo LM Studio.

O que há dentro

Um arquivo GGUF guarda os tensores do modelo mais metadados em pares chave-valor: a arquitetura, o tokenizer, o tamanho do contexto e os detalhes da quantização. A especificação lista a implantação em arquivo único como objetivo, então o modelo carrega sem arquivos de configuração extras. Os modelos geralmente são treinados em PyTorch e depois convertidos para GGUF.

GGUF e quantização

O GGUF pode guardar pesos em precisão total, mas a maioria dos downloads em GGUF é quantizada. Um mesmo modelo muitas vezes é publicado em vários arquivos, como Q8_0, Q5_K_M e Q4_K_M, cada um trocando tamanho por qualidade. Escolha o maior que caiba na sua memória com folga para o contexto. A calculadora de GPU ajuda nisso.

GGUF vs safetensors

O safetensors é o formato habitual para pesos em precisão total no Hugging Face, usado por bibliotecas Python e servidores de GPU como o vLLM. O GGUF mira a inferência local, amigável à CPU e ao Apple Silicon. Os dois servem a runtimes diferentes, e scripts de conversão levam os modelos de um para o outro.

Termos relacionados

Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
Safetensors
Safetensors é um formato de arquivo do Hugging Face para armazenar pesos de modelos. Ao contrário dos arquivos pickle do Python, carregá-lo não pode executar código oculto, e ele permite carregar tensores individuais de forma rápida, com mapeamento em memória.
LLM local
Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
Pesos do modelo
Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
Self-hosting (modelos de IA)
Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.

Fontes