Tensor-Parallelismus
Tensor-Parallelismus (Tensor Parallelism) teilt jede Schicht eines neuronalen Netzes auf mehrere GPUs auf, sodass jede GPU einen Teil jeder Gewichtsmatrix hält und ihren Anteil an jedem Schritt berechnet. So kann ein Modell, das für eine GPU zu groß ist, über viele verteilt laufen.
Auch: multi-GPU, pipeline parallelism, model parallelism
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Wenn die Gewichte eines Modells nicht in den VRAM einer GPU passen, musst du es aufteilen. Es gibt zwei Hauptwege, und Serving-Tools kombinieren sie oft.
Tensor-Parallelismus
Jede große Gewichtsmatrix wird in Scheiben geschnitten, eine pro GPU. Für jedes Token arbeiten alle GPUs gleichzeitig an derselben Schicht, jede an ihrer Scheibe, und tauschen dann vor der nächsten Schicht Teilergebnisse aus. Bekannt wurde der Ansatz durch Megatron-LM von NVIDIA, das eine modellparallele Methode innerhalb der Schicht beschrieb, die nur wenige zusätzliche Kommunikationsschritte braucht. Weil die GPUs bei jeder Schicht miteinander kommunizieren, braucht Tensor-Parallelismus eine schnelle Verbindung wie NVLink und bleibt meist innerhalb einer Maschine. In vLLM und SGLang ist es eine einzige Einstellung, die Tensor-Parallel-Größe.
Pipeline-Parallelismus
Pipeline-Parallelismus teilt das Modell stattdessen nach Schichten auf: GPU eins führt den ersten Block von Schichten aus, GPU zwei den nächsten und so weiter, und die Aktivierungen werden weitergereicht. Das braucht viel weniger Kommunikation und funktioniert daher über Maschinen hinweg, aber eine GPU kann untätig warten, bis die vorige Stufe fertig ist, sofern nicht viele Anfragen gleichzeitig unterwegs sind. Megatron-LM beschreibt die beiden als einander ergänzend.
Warum es wichtig ist
Mit Tensor-Parallelismus werden große Open-Weight-Modelle auf einem Knoten mit mehreren GPUs betrieben, und er kann auch die Latenz senken, da jede GPU pro Token weniger Arbeit hat. Der GPU-Rechner zeigt, wann ein Modell mehr als eine Karte braucht.
Grenzen
Der Kommunikationsaufwand wächst mit der Zahl der GPUs, daher skaliert die Geschwindigkeit nicht linear. Auf Consumer-Karten ohne schnelle Verbindung kann CPU-Offloading oder ein kleineres quantisiertes Modell die praktischere Wahl sein. Mixture-of-Experts-Modelle fügen eine dritte Option hinzu, Expert-Parallelismus.
Verwandte Begriffe
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
- CPU-Offloading
- CPU-Offloading (Auslagerung auf die CPU) betreibt ein Modell, das nicht in den GPU-Speicher passt, indem ein Teil seiner Schichten im Arbeitsspeicher oder auf der Festplatte bleibt und die GPU den Rest übernimmt. Das Modell läuft, aber langsamer.
- Mixture of Experts
- Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.