TPU
TPU(tensor processing unit, 텐서 처리 장치)는 Google이 머신러닝용으로 직접 만든 칩으로, 대형 행렬 곱셈 장치와 고대역폭 메모리를 중심으로 설계되었습니다. Google은 TPU를 Google Cloud의 임대 서비스로 다른 회사에 제공합니다.
다른 이름: tensor processing unit, Cloud TPU
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
대부분의 AI 작업은 그래픽 칩으로 출발한 GPU에서 돌아갑니다. Google은 TPU를 신경망의 핵심인 행렬 연산이라는 한 가지 일만 하는 특정 용도용 칩으로 설계했습니다. 그 핵심은 이웃 셀에 데이터를 넘기는 곱셈-덧셈 셀의 격자인 시스톨릭 배열로 만든 행렬 장치이며, 칩 내장 고대역폭 메모리와 짝을 이룹니다.
사용 방법
데이터 센터용 TPU는 살 수 없습니다. Google Cloud에서 빌려 쓰며, 단일 장비로 빌리거나, 대규모 학습을 위해 빠른 상호 연결로 이어진 많은 칩의 "슬라이스"로 빌립니다. 코드는 XLA 컴파일러가 TPU용으로 컴파일하며, JAX, PyTorch(PyTorch/XLA를 통해), TensorFlow가 이를 대상으로 삼을 수 있습니다.
왜 중요한가
TPU는 NVIDIA 하드웨어에 대한 몇 안 되는 대규모 대안 중 하나입니다. 개발자에게는 GPU 공급이 부족하거나 TPU 가격이 작업에 맞을 때, 특히 이미 JAX로 일하는 팀이라면 선택지가 됩니다.
TPU와 GPU, NPU
GPU는 CUDA를 중심으로 거대한 소프트웨어 생태계를 갖춘 범용 병렬 프로세서입니다. TPU는 더 좁은 용도이고 Google Cloud와 XLA에 묶여 있어, GPU용으로 쓴 일부 라이브러리와 커스텀 커널은 손보지 않으면 TPU에서 돌아가지 않습니다. NPU는 휴대폰과 노트북에서 기기 내 추론을 위해 쓰는 작고 저전력인 대응물입니다.
한계
디버깅과 성능 튜닝은 GPU와 다른 규칙을 따르며, 일부 오픈소스 도구에서는 모델 지원이 더 좁습니다. 결정하기 전에 쓰는 프레임워크와 모델이 TPU에서 돌아가는지 확인하십시오.
관련 용어
- GPU
- GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
- NPU
- NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- 추론(인퍼런스)
- 추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.