Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Auch: quantized, 4-bit, Q4_K_M
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Quantisierung ist der Hauptgrund, warum große Modelle auf Consumer-GPUs und Laptops passen. Gewichte in 4 statt 16 Bit zu speichern senkt ihren Speicherbedarf auf etwa ein Viertel.
So funktioniert es
Jedes Gewicht wird von einer 16-Bit-Zahl auf eine kleinere Menge von Werten abgebildet, mit einem Skalierungsfaktor pro Block von Gewichten, damit sie bei der Inferenz ungefähr rekonstruiert werden können. Post-Training-Methoden tun das nach dem Training, ohne erneutes Training. GPTQ, 2022 veröffentlicht, quantisiert Modelle im Stil von GPT auf 3 oder 4 Bit pro Gewicht, mit einem Genauigkeitsverlust, den seine Autoren als vernachlässigbar bezeichnen.
Die Bezeichnungen lesen
Im GGUF-Ökosystem rund um llama.cpp beschreiben Namen wie Q8_0, Q5_K_M und Q4_K_M das Verfahren. Die Zahl entspricht ungefähr den Bits pro Gewicht. K kennzeichnet die k-quant-Familie, und S, M oder L ist eine kleine, mittlere oder große Mischung, die einige empfindliche Schichten in höherer Präzision belässt. Q4_K_M ist eine beliebte Balance aus Größe und Qualität.
Abwägungen
Weniger Bits bedeuten mehr Qualitätsverlust. 8-Bit liegt meist nah am Original, 4-Bit ist ein verbreiteter guter Kompromiss, und darunter sinkt die Qualität schneller, besonders bei kleinen Modellen. Quantisierung verkleinert die Gewichte, aber nicht den KV-Cache, sofern der nicht ebenfalls quantisiert wird. Dimensioniere dein Setup mit dem GPU-Rechner.
Verwandte Begriffe
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Numerische Präzision (FP16, BF16, FP8)
- Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.