GGUF
GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
Auch: GGUF file
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Wenn du ein Modell herunterlädst, um es lokal auszuführen, siehst du oft Dateien mit der Endung .gguf. Das Format stammt aus dem GGML-Projekt, der Tensor-Bibliothek hinter llama.cpp, und ist das Format, das Ollama und LM Studio nutzen.
Was darin steckt
Eine GGUF-Datei enthält die Tensoren des Modells plus Metadaten als Schlüssel-Wert-Paare: die Architektur, den Tokenizer, die Kontextlänge und Details zur Quantisierung. Die Spezifikation nennt Deployment als einzelne Datei als Ziel, das Modell lädt also ohne zusätzliche Konfigurationsdateien. Modelle werden meist in PyTorch trainiert und dann in GGUF umgewandelt.
GGUF und Quantisierung
GGUF kann Gewichte in voller Präzision speichern, aber die meisten GGUF-Downloads sind quantisiert. Ein Modell wird oft als mehrere Dateien veröffentlicht, etwa Q8_0, Q5_K_M und Q4_K_M, die jeweils Größe gegen Qualität tauschen. Wähle die größte, die in deinen Speicher passt und noch Platz für den Kontext lässt. Der GPU-Rechner hilft dabei.
GGUF und Safetensors
Safetensors ist das übliche Format für Gewichte in voller Präzision auf Hugging Face, genutzt von Python-Bibliotheken und GPU-Servern wie vLLM. GGUF zielt auf lokale Inferenz, die CPU-freundlich ist und auf Apple Silicon läuft. Beide dienen unterschiedlichen Laufzeitumgebungen, und Konvertierungsskripte übertragen Modelle zwischen ihnen.
Verwandte Begriffe
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Safetensors
- Safetensors ist ein Dateiformat von Hugging Face zum Speichern von Modellgewichten. Anders als bei Python-Pickle-Dateien kann beim Laden kein versteckter Code ausgeführt werden, und es unterstützt schnelles, speichergemapptes Laden einzelner Tensoren.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.