Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

TPU

Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.

Auch: tensor processing unit, Cloud TPU

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Die meiste KI-Arbeit läuft auf GPUs, die als Grafikchips begannen. Google entwarf die TPU als anwendungsspezifischen Chip, der eine Aufgabe erledigt: die Matrixmathematik im Kern neuronaler Netze. Ihr Herzstück ist eine Matrixeinheit, gebaut als systolisches Array, ein Gitter aus Multiplizier-Addier-Zellen, die Daten an ihre Nachbarn weitergeben, gepaart mit Speicher hoher Bandbreite auf dem Chip.

Wie du eine nutzt

Eine Rechenzentrums-TPU kannst du nicht kaufen. Du mietest sie über Google Cloud, entweder als einzelne Maschinen oder als „Slices“ aus vielen Chips, die über eine schnelle Verbindung für große Trainingsläufe verknüpft sind. Code wird vom XLA-Compiler für die TPU kompiliert, den JAX, PyTorch (über PyTorch/XLA) und TensorFlow ansprechen können.

Warum es wichtig ist

TPUs sind eine der wenigen Alternativen zu NVIDIA-Hardware im großen Maßstab. Für Entwickler sind sie eine Option, wenn GPUs knapp sind oder die TPU-Preise zu einer Arbeitslast passen, besonders für Teams, die schon mit JAX arbeiten.

TPU versus GPU und NPU

Eine GPU ist ein allgemeiner Parallelprozessor mit einem riesigen Software-Ökosystem rund um CUDA. Eine TPU ist enger gefasst und an Google Cloud und XLA gebunden, daher laufen manche Bibliotheken und eigene Kernels, die für GPUs geschrieben wurden, nicht ohne Aufwand darauf. Eine NPU ist das kleine, stromsparende Gegenstück in Smartphones und Laptops für Inferenz auf dem Gerät.

Grenzen

Debugging und Performance-Tuning folgen anderen Regeln als bei GPUs, und die Modellunterstützung ist in manchen Open-Source-Tools geringer. Prüfe, ob dein Framework und dein Modell auf TPUs laufen, bevor du dich festlegst.

Verwandte Begriffe

GPU
Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
NPU
Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.

Quellen