Jahrelang hieß PyTorch auf Googles TPUs entweder, Code auf PyTorch/XLA zu portieren, oder JAX zu lernen. TorchTPU, ein natives PyTorch-Backend, beseitigt diesen Umweg: Eine TPU wird zu einem Gerät wie jedes andere, wie eine GPU. Laut Hugging Face laufen seine Bibliotheken Transformers, Diffusers und Kernels nun direkt darauf, ein Modell vom Hub auf eine TPU zu laden braucht eine einzige Einstellung.
Der alte Weg hatte echte Kosten. PyTorch/XLA nutzte Lazy Tensors, Code lief also nicht immer dann, wenn man es erwartete, und kleine Änderungen konnten neue Graph-Kompilierungen auslösen, die schwer zu debuggen waren. Hugging Face baute Optimum TPU, um das zu glätten; mit TorchTPU ist es für Transformers und Diffusers nicht mehr nötig. Das neue Backend läuft standardmäßig im Eager-Modus, unterstützt torch.compile, wenn Tempo zählt, beherrscht verteiltes Training und bringt Kernels in Pallas mit, Googles hardwarenaher Kernel-Sprache. Modelle, die für einen Chip zu groß sind, lassen sich beim Laden auf mehrere Chips verteilen. In einem Beispiel machte ein Mixture-of-Experts-Kernel aus der Bibliothek Tokamax das Dekodieren bei einer Batchgröße von 64 auf Qwen3-30B-A3B 21,5-mal und auf Gemma 4 26B-A4B 12,8-mal schneller.
Am wichtigsten sind die Kosten. TPUs sind Googles eigene Chips, gebaut für die Matrizenrechnung, mit der neuronale Netze ihre Zeit verbringen, und auf Google Cloud vom einzelnen Chip bis zu Pods mit Tausenden verfügbar. Teams, die auch wegen PyTorch bei Nvidia-GPUs blieben, können TPU-Kapazität nun als echte Alternative kalkulieren, ohne Code umzuschreiben. Das kommt zeitgleich mit einem ähnlichen nativen Backend für AWS Trainium, TorchNeuron, und einer Vereinbarung, die OpenAIs Modelle zu Google Cloud bringt; zusammen deutet das auf einen weniger auf Nvidia fixierten Markt für Werkzeuge, die wir besprechen, darunter PyTorch, Transformers und Diffusers.
Fertig ist es nicht. Hugging Face sagt, 96,5% der Transformers-Tests, die auf TPU laufen, bestehen; bisher hat es 34 Probleme an das TorchTPU-Projekt gemeldet, und nächtliche Tests werden noch eingerichtet. Die genannten Beschleunigungen gelten für bestimmte Kernels bei großer Batchgröße, nicht für vollständige Vergleiche mit ausgereiften CUDA-Setups. Offen bleibt für alle, die einen Wechsel budgetieren, wie Leistung und Preis von TPUs gegenüber GPUs bei den eigenen Arbeitslasten abschneiden, und das muss man messen statt annehmen.