Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

GPU

Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.

Auch: graphics processing unit

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

GPUs begannen als Chips zum Zeichnen von 3D-Grafik, bei der dieselbe Berechnung gleichzeitig auf Millionen Pixeln läuft. NVIDIAs CUDA, 2006 eingeführt, öffnete diesen parallelen Durchsatz für allgemeine Berechnungen. Neuronale Netze passten dazu gut, weil ihr Training und Betrieb größtenteils aus großen Matrixmultiplikationen besteht, die sich natürlich auf viele Kerne verteilen.

Warum KI GPUs braucht

Eine CPU hat wenige leistungsstarke Kerne für vielfältige, sequenzielle Arbeit. Eine GPU tauscht das gegen sehr viele einfachere Kerne und sehr schnellen Speicher, was zu den wiederholten Rechenoperationen in einem Transformer passt. Moderne Rechenzentrums-GPUs haben zusätzlich eigene Einheiten für Rechnungen mit niedriger Präzision, weshalb Formate wie FP8 und 4-Bit wichtig sind.

Worauf du achten solltest

Für den Betrieb von Modellen zählt der Speicher oft mehr als die reine Rechenleistung. Die Größe des VRAM entscheidet, welche Modelle passen, und die Speicherbandbreite bestimmt weitgehend die Tokens pro Sekunde bei der Generierung. Für Training und große Modelle zählen die Verbindungen zwischen GPUs, da die Arbeit mit Methoden wie Tensor-Parallelismus auf viele Karten verteilt wird. Unser GPU-Rechner schätzt, was ein Modell braucht.

Alternativen

Googles TPU ist ein speziell für maschinelles Lernen entworfener Chip, der vor allem in Google Cloud genutzt wird. NPUs in Smartphones und Laptops betreiben kleine Modelle mit wenig Strom. Apple und einige andere Chips nutzen Unified Memory, den sich CPU und GPU teilen. Du kannst auch auf eigene Hardware verzichten und bei einer GPU-Cloud oder einer Plattform für Serverless GPU mieten.

Verwandte Begriffe

VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.
TPU
Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.
NPU
Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
Unified Memory
Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
Tensor-Parallelismus
Tensor-Parallelismus (Tensor Parallelism) teilt jede Schicht eines neuronalen Netzes auf mehrere GPUs auf, sodass jede GPU einen Teil jeder Gewichtsmatrix hält und ihren Anteil an jedem Schritt berechnet. So kann ein Modell, das für eine GPU zu groß ist, über viele verteilt laufen.

Quellen