Mixture of Experts
Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.
Auch: MoE, sparse model, active parameters, A3B
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Mit MoE kann ein Modell weit mehr Parameter enthalten, als es für ein einzelnes Token nutzt. Das bringt die Wissenskapazität eines großen Modells mit dem Rechenaufwand pro Token eines viel kleineren.
So funktioniert es
In einem Transformer wird der Feed-Forward-Block jeder Schicht durch eine Gruppe von Experten und einen kleinen Router, auch Gating-Netzwerk genannt, ersetzt. Für jedes Token wählt der Router einige Experten aus, lässt sie laufen und kombiniert ihre Ausgaben. Die moderne Form geht auf ein Paper von Shazeer und Kollegen von 2017 über spärlich gesteuerte MoE-Schichten zurück.
Gesamte vs. aktive Parameter
Mixtral 8x7B von Mistral hat acht Experten pro Schicht, und der Router wählt zwei pro Token. Laut Paper hat jedes Token Zugriff auf 47B Parameter, nutzt aber nur 13B aktive Parameter. Modellnamen zeigen oft beide Zahlen: In einem Namen wie Clover 35B-A3B ist 35B die Gesamtzahl, und A3B bedeutet etwa 3B aktive.
Der Haken
Aktive Parameter bestimmen die Geschwindigkeit, aber alle Experten müssen trotzdem im Speicher liegen. Ein MoE-Modell mit 35B braucht ungefähr den VRAM eines dichten 35B-Modells, auch wenn es Tokens eher in der Geschwindigkeit eines 3B-Modells erzeugt. Prüfe die Zahlen im GPU-Rechner.
Verwandte Begriffe
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.