Numerische Präzision (FP16, BF16, FP8)
Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
Auch: FP8, BF16, FP16, FP4, INT8, INT4, FP32, bfloat16
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Jedes Gewicht in einem Modell ist eine Zahl, und das Format dieser Zahl entscheidet, wie viel Speicher das Modell belegt. Ein 16-Bit-Format braucht zwei Bytes pro Gewicht, ein 8-Bit-Format ein Byte, ein 4-Bit-Format ein halbes Byte. Deshalb ist die Präzision das Erste, was du prüfen solltest, wenn du ausrechnest, ob ein Modell in deinen VRAM passt; der GPU-Rechner rechnet das für dich aus.
Die gängigen Formate
FP32 ist volle einfache Genauigkeit und wird vor allem im Training genutzt. FP16 halbiert die Größe, hat aber einen engen Wertebereich, sodass sehr große oder kleine Werte überlaufen können. BF16 (bfloat16, bei Google entworfen) behält die gleichen 8 Exponentenbits wie FP32 und verzichtet stattdessen auf Mantissenbits. Es hat also den Wertebereich von FP32 mit weniger Feinheit. Das macht es zum üblichen Standard für Training und Betrieb moderner Modelle.
FP8 geht auf ein Byte herunter. Der FP8-Standard definiert zwei Varianten: E4M3 mit mehr Präzision und E5M2 mit mehr Wertebereich. Aktuelle Rechenzentrums-GPUs rechnen FP8 nativ. FP4-Formate gehen auf der neuesten Hardware noch weiter.
INT8 und INT4 sind Ganzzahlformate. Gewichte werden auf eine kleine Menge ganzer Zahlen plus einen Skalierungsfaktor abgebildet. Das ist in der Praxis meist mit Quantisierung gemeint, und das speichern Dateien wie GGUF für die lokale Nutzung.
Abwägungen
Niedrigere Präzision spart Speicher und erhöht oft die Tokens pro Sekunde, aber jeder Schritt nach unten verliert etwas Information. Die Wirkung hängt von Modell und Methode ab: 8-Bit liegt meist nah am Original, während 4-Bit und darunter logisches Denken oder Aufgaben mit langem Kontext beeinträchtigen können. Auch die Hardware-Unterstützung zählt; ein Format, das deine GPU nicht nativ berechnen kann, wird womöglich unterwegs umgewandelt und bringt kaum Beschleunigung.
Verwandte Begriffe
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.