Amazons Trainium-Chips waren lange auf dem Papier ein günstigerer Ort zum Trainieren und in der Praxis ein umständlicher, weil PyTorch-Code für sie angepasst werden musste. TorchNeuron, ein natives PyTorch-Backend für Trainium, soll diese Reibung beseitigen. Es ging am 20. Oktober 2026 in die öffentliche Beta, wird mit pip install torch-neuronx installiert, und laut Hugging Face laufen Transformers, Diffusers, Accelerate, PEFT und TRL jetzt direkt darauf.
Bisher führte der Weg von Hugging Face zu Trainium und Inferentia, den Trainings- und Inferenzchips von AWS, über Optimum Neuron, das auf einem PyTorch/XLA-Paket aufbaute. Man musste wie ein Compiler denken: Lazy Tensors statt sofortiger Ausführung, nur statische Formen und eine Neukompilierung bei jeder Änderung des Graphen. TorchNeuron stellt den Chip als normales Gerät neuron bereit, mit Eager-Ausführung, torch.compile und PyTorchs eigenen verteilten Werkzeugen wie FSDP2 und DTensor. Hugging Face empfiehlt nun, seine Bibliotheken direkt statt über Optimum Neuron zu nutzen.
Die Zahlen zur Abdeckung sind das Nützliche. Mit TorchNeuron laufen 89% der 100 meistgenutzten Architekturen für Textgenerierung ohne Anpassung, gegenüber 46% mit Optimum Neuron v0.4.5. Fine-Tuning nutzt ein normales TRL-Skript mit einigen Neuron-spezifischen Einstellungen, und der entstehende Checkpoint ist eine gewöhnliche Transformers-Datei, die sich auf den Hub hochladen und auf beliebiger Hardware laden lässt. Im ausführlichen Beispiel teilen 32 Prozesse auf einer Instanz jedes Modell per Tensorparallelität auf vier Kerne auf und verteilen den Rest mit FSDP. In Diffusers unterstützen Bildmodelle wie FLUX.1-dev, FLUX.2 und Qwen-Image-2.1 ebenfalls Tensorparallelität, und eigene Kernels lassen sich mit AWS' Neuron Kernel Interface schreiben und auf dem Hub teilen.
Zusammen mit TorchTPU für Googles Chips in derselben Woche ist das eine bemerkenswerte Verschiebung für alle, die Training außerhalb von Nvidia kalkulieren. Beide Backends lassen alternative Beschleuniger für die Bibliotheken, die wir besprechen, darunter PyTorch und Transformers, wie jedes andere PyTorch-Gerät aussehen, was den Test günstiger macht.
Es ist eine Beta, und das merkt man. Formen müssen weiter statisch bleiben, um Neukompilierungen zu vermeiden, daher schalten Trainingsskripte automatische dynamische Formen ab und füllen Batches auf; asynchrones Laden von Gewichten in Transformers wird noch nicht unterstützt; und 89% Abdeckung heißt, dass einige beliebte Architekturen noch nicht laufen. Der Beitrag nennt keine Geschwindigkeits- oder Kostenvergleiche mit GPUs, die Zahl, die die meisten Teams brauchen werden. Vor einem Wechsel sollte man eine repräsentative Arbeitslast testen.