Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Modellparameter

Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.

Auch: parameter count, 7B, total vs active parameters

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Wenn ein Modell Llama 7B oder Qwen 72B heißt, ist die Zahl seine Parameterzahl in Milliarden. Meta veröffentlichte das ursprüngliche LLaMA zum Beispiel in Größen von 7B bis 65B Parametern.

Was die Größe verrät

Mehr Parameter bedeuten meist mehr Kapazität für Wissen und Fähigkeiten, aber Trainingsdaten und Methode zählen genauso viel. Das LLaMA-Paper berichtet, dass sein 13B-Modell das 175B-Modell GPT-3 bei den meisten Benchmarks schlug. Die Größe ist ein grober Anhaltspunkt, keine Rangliste.

Speicher

Die Parameterzahl bestimmt, wie viel Speicher ein Modell braucht. Jeder Parameter wird in einer Präzision wie 16-Bit, 8-Bit oder 4-Bit gespeichert, also ist der Speicher ungefähr Parameter mal Bytes pro Parameter, plus Platz für den KV-Cache. Quantisierung auf 4 Bit senkt den Speicher für die Gewichte auf etwa ein Viertel der 16-Bit-Größe. Der GPU-Rechner rechnet das für dich aus.

Gesamte vs. aktive Parameter

In einem Mixture-of-Experts-Modell läuft für jedes Token nur ein Teil der Parameter. Ein Name wie 35B-A3B bedeutet 35 Milliarden Parameter insgesamt und etwa 3 Milliarden aktive. Aktive Parameter bestimmen die Geschwindigkeit, aber alle müssen trotzdem in den VRAM passen.

Verwandte Begriffe

Mixture of Experts
Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.
VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Modellgewichte
Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
Numerische Präzision (FP16, BF16, FP8)
Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
Small Language Model
Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.

Quellen