GPU
GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
다른 이름: graphics processing unit
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
GPU는 같은 계산을 수백만 개의 픽셀에 동시에 실행하는 3D 그래픽 그리기용 칩으로 시작했습니다. 2006년에 소개된 NVIDIA의 CUDA가 그 병렬 처리량을 범용 컴퓨팅에 열었습니다. 신경망은 이에 잘 맞는 것으로 드러났습니다. 신경망을 학습하고 실행하는 일은 대부분 많은 코어에 자연스럽게 나뉘는 큰 행렬 곱셈이기 때문입니다.
AI에 GPU가 필요한 이유
CPU에는 다양하고 순차적인 작업을 위해 설계된 강력한 코어가 몇 개 있습니다. GPU는 그 대신 매우 많은 단순한 코어와 매우 빠른 메모리를 갖추며, 이는 트랜스포머의 반복되는 산술에 맞습니다. 현대 데이터센터용 GPU는 낮은 정밀도 연산을 위한 전용 장치를 더하며, 그래서 FP8과 4-bit 같은 형식이 중요합니다.
볼 것
모델을 실행할 때는 순수한 연산 능력보다 메모리가 더 중요한 경우가 많습니다. VRAM 크기가 어떤 모델이 들어갈지를 정하고, 메모리 대역폭이 생성 중의 초당 토큰 수를 대체로 결정합니다. 학습과 대형 모델에서는 텐서 병렬화 같은 방법으로 작업을 여러 카드에 나누므로 GPU 사이의 연결이 중요합니다. 이 사이트의 GPU 계산기로 모델에 필요한 것을 추정할 수 있습니다.
대안
Google의 TPU는 머신러닝 전용으로 설계된 칩으로, 주로 Google Cloud에서 쓰입니다. 휴대폰과 노트북의 NPU는 작은 모델을 낮은 전력으로 실행합니다. Apple과 일부 다른 칩은 CPU와 GPU가 공유하는 통합 메모리를 씁니다. 하드웨어를 소유하지 않고 AI GPU 클라우드나 서버리스 GPU 플랫폼에서 빌릴 수도 있습니다.
관련 용어
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- TPU
- TPU(tensor processing unit, 텐서 처리 장치)는 Google이 머신러닝용으로 직접 만든 칩으로, 대형 행렬 곱셈 장치와 고대역폭 메모리를 중심으로 설계되었습니다. Google은 TPU를 Google Cloud의 임대 서비스로 다른 회사에 제공합니다.
- NPU
- NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
- 통합 메모리(Unified memory)
- 통합 메모리(unified memory)는 CPU와 GPU가 각자 메모리를 갖는 대신 하나의 메모리 풀을 공유하는 설계입니다. Apple Silicon Mac과 비슷한 칩에서는 로컬 AI 모델이 시스템 RAM 대부분을 GPU 메모리로 쓸 수 있게 해 줍니다.
- 텐서 병렬화(Tensor parallelism)
- 텐서 병렬화(tensor parallelism)는 신경망의 각 레이어를 여러 GPU에 나 눠, 모든 GPU가 각 가중치 행렬의 일부를 갖고 매 단계에서 자기 몫을 계산하게 하는 방식입니다. GPU 한 장에 들어가지 않는 모델을 여러 장에 걸쳐 실행할 수 있게 합니다.