Pendant des années, faire tourner PyTorch sur les TPU de Google imposait de porter son code vers PyTorch/XLA ou d'apprendre JAX. TorchTPU, un backend PyTorch natif, supprime ce détour : une TPU devient un appareil comme un autre, au même titre qu'un GPU. Hugging Face indique que ses bibliothèques Transformers, Diffusers et Kernels fonctionnent désormais directement dessus, et charger un modèle du Hub sur une TPU ne demande qu'un réglage.
L'ancienne voie avait de vrais coûts. PyTorch/XLA utilisait des tenseurs paresseux, si bien que le code ne s'exécutait pas toujours au moment attendu, et de petits changements pouvaient déclencher de nouvelles compilations du graphe, difficiles à déboguer. Hugging Face avait créé Optimum TPU pour atténuer cela ; avec TorchTPU, il n'est plus nécessaire pour Transformers ni Diffusers. Le nouveau backend fonctionne en mode eager par défaut, prend en charge torch.compile quand on cherche la vitesse, gère l'entraînement distribué et fournit des kernels écrits en Pallas, le langage de kernels bas niveau de Google. Les modèles trop gros pour une seule puce peuvent être répartis entre plusieurs au chargement. Dans un exemple, un kernel de mélange d'experts issu de la bibliothèque Tokamax a rendu le décodage 21,5 fois plus rapide sur Qwen3-30B-A3B et 12,8 fois plus rapide sur Gemma 4 26B-A4B avec une taille de lot de 64.
L'enjeu principal est le coût. Les TPU sont les puces maison de Google, conçues pour le calcul matriciel qui occupe l'essentiel du temps des réseaux de neurones, et disponibles sur Google Cloud d'une puce unique à des pods de plusieurs milliers. Les équipes restées sur les GPU Nvidia en partie à cause de PyTorch peuvent désormais chiffrer la capacité TPU comme une vraie alternative sans réécrire leur code. L'annonce coïncide avec un backend natif comparable pour AWS Trainium, TorchNeuron, et avec un accord qui amène les modèles d'OpenAI sur Google Cloud : ensemble, ils dessinent un marché moins centré sur Nvidia pour des outils que nous testons, dont PyTorch, Transformers et Diffusers.
Tout n'est pas prêt. Hugging Face indique que 96,5 % des tests de Transformers exécutés sur TPU réussissent, qu'il a signalé 34 problèmes au projet TorchTPU jusqu'ici et que les tests nocturnes sont encore en cours de mise en place. Les accélérations citées concernent des kernels précis avec une grande taille de lot, pas des comparaisons complètes avec des configurations CUDA éprouvées. La question ouverte, pour qui budgète une migration, est de savoir comment performance et prix des TPU se comparent aux GPU sur ses propres charges, et cela devra se mesurer plutôt que se supposer.