TPU
Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.
Auch: tensor processing unit, Cloud TPU
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Die meiste KI-Arbeit läuft auf GPUs, die als Grafikchips begannen. Google entwarf die TPU als anwendungsspezifischen Chip, der eine Aufgabe erledigt: die Matrixmathematik im Kern neuronaler Netze. Ihr Herzstück ist eine Matrixeinheit, gebaut als systolisches Array, ein Gitter aus Multiplizier-Addier-Zellen, die Daten an ihre Nachbarn weitergeben, gepaart mit Speicher hoher Bandbreite auf dem Chip.
Wie du eine nutzt
Eine Rechenzentrums-TPU kannst du nicht kaufen. Du mietest sie über Google Cloud, entweder als einzelne Maschinen oder als „Slices“ aus vielen Chips, die über eine schnelle Verbindung für große Trainingsläufe verknüpft sind. Code wird vom XLA-Compiler für die TPU kompiliert, den JAX, PyTorch (über PyTorch/XLA) und TensorFlow ansprechen können.
Warum es wichtig ist
TPUs sind eine der wenigen Alternativen zu NVIDIA-Hardware im großen Maßstab. Für Entwickler sind sie eine Option, wenn GPUs knapp sind oder die TPU-Preise zu einer Arbeitslast passen, besonders für Teams, die schon mit JAX arbeiten.
TPU versus GPU und NPU
Eine GPU ist ein allgemeiner Parallelprozessor mit einem riesigen Software-Ökosystem rund um CUDA. Eine TPU ist enger gefasst und an Google Cloud und XLA gebunden, daher laufen manche Bibliotheken und eigene Kernels, die für GPUs geschrieben wurden, nicht ohne Aufwand darauf. Eine NPU ist das kleine, stromsparende Gegenstück in Smartphones und Laptops für Inferenz auf dem Gerät.
Grenzen
Debugging und Performance-Tuning folgen anderen Regeln als bei GPUs, und die Modellunterstützung ist in manchen Open-Source-Tools geringer. Prüfe, ob dein Framework und dein Modell auf TPUs laufen, bevor du dich festlegst.
Verwandte Begriffe
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
- NPU
- Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
- GPU-Cloud
- Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.