Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Quantisierung

Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.

Auch: quantized, 4-bit, Q4_K_M

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Quantisierung ist der Hauptgrund, warum große Modelle auf Consumer-GPUs und Laptops passen. Gewichte in 4 statt 16 Bit zu speichern senkt ihren Speicherbedarf auf etwa ein Viertel.

So funktioniert es

Jedes Gewicht wird von einer 16-Bit-Zahl auf eine kleinere Menge von Werten abgebildet, mit einem Skalierungsfaktor pro Block von Gewichten, damit sie bei der Inferenz ungefähr rekonstruiert werden können. Post-Training-Methoden tun das nach dem Training, ohne erneutes Training. GPTQ, 2022 veröffentlicht, quantisiert Modelle im Stil von GPT auf 3 oder 4 Bit pro Gewicht, mit einem Genauigkeitsverlust, den seine Autoren als vernachlässigbar bezeichnen.

Die Bezeichnungen lesen

Im GGUF-Ökosystem rund um llama.cpp beschreiben Namen wie Q8_0, Q5_K_M und Q4_K_M das Verfahren. Die Zahl entspricht ungefähr den Bits pro Gewicht. K kennzeichnet die k-quant-Familie, und S, M oder L ist eine kleine, mittlere oder große Mischung, die einige empfindliche Schichten in höherer Präzision belässt. Q4_K_M ist eine beliebte Balance aus Größe und Qualität.

Abwägungen

Weniger Bits bedeuten mehr Qualitätsverlust. 8-Bit liegt meist nah am Original, 4-Bit ist ein verbreiteter guter Kompromiss, und darunter sinkt die Qualität schneller, besonders bei kleinen Modellen. Quantisierung verkleinert die Gewichte, aber nicht den KV-Cache, sofern der nicht ebenfalls quantisiert wird. Dimensioniere dein Setup mit dem GPU-Rechner.

Verwandte Begriffe

GGUF
GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
Numerische Präzision (FP16, BF16, FP8)
Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
Modellparameter
Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.

Quellen