Les puces Trainium d'Amazon sont depuis longtemps un endroit moins cher pour entraîner des modèles sur le papier, et peu commode en pratique, car il fallait adapter le code PyTorch pour les utiliser. TorchNeuron, un backend PyTorch natif pour Trainium, veut supprimer cette friction. Il est entré en bêta publique le 20 octobre 2026, s'installe avec pip install torch-neuronx, et selon Hugging Face, Transformers, Diffusers, Accelerate, PEFT et TRL fonctionnent désormais directement dessus.
Jusqu'ici, la voie de Hugging Face vers Trainium et Inferentia, les puces d'entraînement et d'inférence d'AWS, passait par Optimum Neuron, fondé sur un paquet PyTorch/XLA. Il fallait penser comme un compilateur : tenseurs paresseux au lieu d'exécution immédiate, formes statiques uniquement et recompilation à chaque changement du graphe. TorchNeuron expose la puce comme un appareil neuron ordinaire, avec exécution eager, torch.compile et les outils distribués propres à PyTorch comme FSDP2 et DTensor. Hugging Face recommande désormais d'utiliser ses bibliothèques directement plutôt que via Optimum Neuron.
Les chiffres de couverture sont l'élément utile. Avec TorchNeuron, 89 % des 100 architectures de génération de texte les plus utilisées fonctionnent d'emblée, contre 46 % avec Optimum Neuron v0.4.5. L'affinage utilise un script TRL standard avec quelques réglages propres à Neuron, et le point de contrôle obtenu est un fichier Transformers ordinaire, que l'on peut publier sur le Hub et charger sur n'importe quel matériel. Dans l'exemple détaillé, 32 processus sur une instance répartissent chaque modèle sur quatre cœurs par parallélisme de tenseurs et distribuent le reste avec FSDP. Dans Diffusers, des modèles d'image comme FLUX.1-dev, FLUX.2 et Qwen-Image-2.1 prennent aussi en charge le parallélisme de tenseurs, et l'on peut écrire ses propres kernels avec la Neuron Kernel Interface d'AWS et les partager sur le Hub.
Avec TorchTPU pour les puces de Google la même semaine, c'est un changement notable pour qui chiffre l'entraînement hors de Nvidia. Les deux backends font passer ces accélérateurs pour un appareil PyTorch comme un autre aux yeux des bibliothèques que nous testons, dont PyTorch et Transformers, ce qui rend l'essai moins coûteux.
C'est une bêta, et cela se voit. Les formes doivent encore rester statiques pour éviter les recompilations : les scripts d'entraînement désactivent donc les formes dynamiques automatiques et complètent les lots ; le chargement asynchrone des poids de Transformers n'est pas encore pris en charge ; et une couverture de 89 % signifie que certaines architectures populaires ne fonctionnent toujours pas. Le billet ne donne aucune comparaison de vitesse ou de coût avec les GPU, le chiffre dont la plupart des équipes auront besoin. Mieux vaut tester une charge représentative avant de planifier une migration.