Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

GGUF

GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.

Auch: GGUF file

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Wenn du ein Modell herunterlädst, um es lokal auszuführen, siehst du oft Dateien mit der Endung .gguf. Das Format stammt aus dem GGML-Projekt, der Tensor-Bibliothek hinter llama.cpp, und ist das Format, das Ollama und LM Studio nutzen.

Was darin steckt

Eine GGUF-Datei enthält die Tensoren des Modells plus Metadaten als Schlüssel-Wert-Paare: die Architektur, den Tokenizer, die Kontextlänge und Details zur Quantisierung. Die Spezifikation nennt Deployment als einzelne Datei als Ziel, das Modell lädt also ohne zusätzliche Konfigurationsdateien. Modelle werden meist in PyTorch trainiert und dann in GGUF umgewandelt.

GGUF und Quantisierung

GGUF kann Gewichte in voller Präzision speichern, aber die meisten GGUF-Downloads sind quantisiert. Ein Modell wird oft als mehrere Dateien veröffentlicht, etwa Q8_0, Q5_K_M und Q4_K_M, die jeweils Größe gegen Qualität tauschen. Wähle die größte, die in deinen Speicher passt und noch Platz für den Kontext lässt. Der GPU-Rechner hilft dabei.

GGUF und Safetensors

Safetensors ist das übliche Format für Gewichte in voller Präzision auf Hugging Face, genutzt von Python-Bibliotheken und GPU-Servern wie vLLM. GGUF zielt auf lokale Inferenz, die CPU-freundlich ist und auf Apple Silicon läuft. Beide dienen unterschiedlichen Laufzeitumgebungen, und Konvertierungsskripte übertragen Modelle zwischen ihnen.

Verwandte Begriffe

Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Safetensors
Safetensors ist ein Dateiformat von Hugging Face zum Speichern von Modellgewichten. Anders als bei Python-Pickle-Dateien kann beim Laden kein versteckter Code ausgeführt werden, und es unterstützt schnelles, speichergemapptes Laden einzelner Tensoren.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Modellgewichte
Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
Self-Hosting (KI-Modelle)
Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.

Quellen