수년 동안 Google의 TPU에서 PyTorch를 돌리려면 코드를 PyTorch/XLA로 옮기거나 JAX를 배워야 했습니다. 네이티브 PyTorch 백엔드인 TorchTPU는 이 우회로를 없애고 TPU를 GPU처럼 평범한 장치 하나로 만듭니다. Hugging Face는 Transformers, Diffusers, Kernels 라이브러리가 이제 그 위에서 바로 돌아가며, Hub 모델을 TPU에 올리는 데 설정 하나면 된다고 말합니다.
예전 방식에는 실제 비용이 있었습니다. PyTorch/XLA는 지연 텐서를 써서 코드가 예상한 시점에 실행되지 않을 때가 있었고, 작은 변경에도 디버깅하기 어려운 그래프 재컴파일이 일어났습니다. Hugging Face는 이를 다듬으려고 Optimum TPU를 만들었지만, TorchTPU가 나오면서 Transformers와 Diffusers에는 더 이상 필요 없습니다. 새 백엔드는 기본적으로 eager 모드로 돌아가고, 속도가 필요하면 torch.compile을 지원하며, 분산 학습을 처리하고, Google의 저수준 커널 언어 Pallas로 쓴 커널을 갖췄습니다. 칩 하나에 들어가지 않는 모델은 불러오면서 여러 칩에 나눌 수 있습니다. 한 예에서 Tokamax 라이브러리의 전문가 혼합 커널은 배치 크기 64에서 디코딩을 Qwen3-30B-A3B 기준 21.5배, Gemma 4 26B-A4B 기준 12.8배 빠르게 했습니다.
가장 중요한 것은 비용입니다. TPU는 신경망이 대부분의 시간을 쓰는 행렬 연산을 위해 만든 Google 자체 칩이며, Google Cloud에서 칩 하나부터 수천 개짜리 포드까지 쓸 수 있습니다. PyTorch 때문에라도 Nvidia GPU에 머물던 팀은 이제 코드를 다시 쓰지 않고 TPU 용량을 실제 대안으로 견적 낼 수 있습니다. AWS Trainium용 비슷한 네이티브 백엔드 TorchNeuron, 그리고 OpenAI 모델을 Google Cloud로 가져오는 계약과 같은 시기에 나온 발표로, 저희가 리뷰하는 PyTorch, Transformers, Diffusers 같은 도구에 Nvidia 중심이 덜한 시장이 열리고 있음을 보여 줍니다.
아직 끝나지 않았습니다. Hugging Face는 TPU에서 돌아가는 Transformers 테스트의 96.5%가 통과한다고 하며, 지금까지 TorchTPU 프로젝트에 문제 34건을 보고했고, 야간 테스트는 아직 구축 중입니다. 제시된 속도 향상은 큰 배치 크기에서 특정 커널에 대한 것이지, 성숙한 CUDA 환경과의 전체 비교가 아닙니다. 이전 예산을 세우는 사람에게 남은 질문은 자기 작업에서 TPU의 성능과 가격이 GPU와 어떻게 비교되느냐이며, 이는 가정이 아니라 측정으로 확인해야 합니다.