Amazon의 Trainium 칩은 오랫동안 서류상으로는 모델을 더 싸게 학습시킬 수 있는 곳이었지만, 실제로는 PyTorch 코드를 손봐야 돌아가는 불편한 곳이었습니다. Trainium용 네이티브 PyTorch 백엔드인 TorchNeuron은 이 마찰을 없애려 합니다. 2026년 10월 20일 공개 베타가 됐고, pip install torch-neuronx로 설치하며, Hugging Face에 따르면 Transformers, Diffusers, Accelerate, PEFT, TRL이 이제 그 위에서 바로 돌아갑니다.
지금까지 Hugging Face에서 AWS의 학습용 칩 Trainium과 추론용 칩 Inferentia로 가는 길은 PyTorch/XLA 패키지를 바탕으로 한 Optimum Neuron을 거쳤습니다. 그래서 컴파일러처럼 생각해야 했습니다. 즉시 실행 대신 지연 텐서, 정적 형태만 허용, 그래프가 바뀔 때마다 재컴파일 같은 식이었습니다. TorchNeuron은 칩을 평범한 neuron 장치로 드러내며, eager 실행, torch.compile, FSDP2와 DTensor 같은 PyTorch 자체 분산 도구를 지원합니다. Hugging Face는 이제 Optimum Neuron을 거치지 말고 라이브러리를 직접 쓰라고 권합니다.
쓸모 있는 것은 지원 범위 수치입니다. TorchNeuron에서는 가장 많이 쓰이는 텍스트 생성 아키텍처 100개 가운데 89%가 바로 돌아가며, Optimum Neuron v0.4.5의 46%보다 훨씬 많습니다. 미세 조정은 Neuron 전용 설정 몇 가지를 더한 표준 TRL 스크립트로 하고, 결과 체크포인트는 평범한 Transformers 파일이어서 Hub에 올려 어떤 하드웨어에서든 불러올 수 있습니다. 자세한 예에서는 인스턴스 하나의 프로세스 32개가 텐서 병렬로 각 모델을 코어 4개에 나누고 나머지는 FSDP로 분산합니다. Diffusers에서는 FLUX.1-dev, FLUX.2, Qwen-Image-2.1 같은 이미지 모델도 텐서 병렬을 지원하며, AWS의 Neuron Kernel Interface로 자체 커널을 써서 Hub에 공유할 수 있습니다.
같은 주에 Google 칩용 TorchTPU도 나와, Nvidia 밖에서의 학습 비용을 따지는 사람에게 눈여겨볼 변화입니다. 두 백엔드 모두 PyTorch와 Transformers 등 저희가 리뷰하는 라이브러리에 대체 가속기를 평범한 PyTorch 장치처럼 보이게 해, 시험해 보는 비용을 낮춥니다.
베타인 만큼 거친 부분도 보입니다. 재컴파일을 피하려면 형태를 여전히 정적으로 유지해야 해서 학습 스크립트는 자동 동적 형태를 끄고 배치를 채웁니다. Transformers의 비동기 가중치 로딩은 아직 지원되지 않고, 89% 지원은 인기 있는 아키텍처 일부가 아직 돌아가지 않는다는 뜻입니다. 글에는 GPU와의 속도나 비용 비교가 없는데, 이것이 대부분의 팀에 필요한 숫자입니다. 이전을 계획하기 전에 대표적인 작업으로 시험해 보십시오.