DeepSeek V3.2 GPU 요구 사항: VRAM과 가장 저렴한 GPU
DeepSeek V3.2의 파라미터는 6853.6억개이며 FP8로 공개되었습니다. 전문가 혼합(MoE) 모델로, 256개 전문가 중 8개가 각 토큰을 처리합니다(약 518.8억 파라미터). 그래서 생성 속도는 그 크기의 모델과 비슷합니다. 다만 모든 전문가가 GPU 메모리에 올라가 있어야 하므로 아래 메모리 수치는 전체 모델 기준입니다. mit 라이선스로 공개되어 상업적 사용이 허용됩니다.
- 파라미터
- 6853.6억
- 최소 메모리(INT4)
- 약 397 GB
- 가장 저렴한 GPU 시간당 요금(FP16)
- US$8.99
- 유형
- 텍스트
deepseek-ai/DeepSeek-V3.2
- 파라미터 6853.6억
- 토큰당 활성 518.8억
- 유형 텍스트
- 작업 text-generation
- 최대 컨텍스트 160K
- 라이선스 mit
- 다운로드 844.2만
- 좋아요 1.6천
DeepSeek V3.2 계산 결과
추가 설정
DeepSeek V3.2에 필요한 GPU 메모리는 약 1,509 GB
추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.
메모리 구성
- 가중치 1,371 GB
- KV 캐시 0.58 GB
- 런타임 오버헤드 138 GB
- 합계 1,509 GB
GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용자가 예상되면 여유를 더 두세요.
| 순위 | 구성 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) | 제공업체 |
|---|---|---|---|---|---|---|
| 1 | 6 × B300 288GB최저가Blackwell Ultra · HBM3e | US$8.99 | 68개 단위로 판매; 필요한 수는 6개 | US$71.92 | US$52,502 | RunPod (새 탭에서 열림)8x B300 |
| 8개 초과: 여러 노드 필요: MI300X 192GB, GB200 186GB, B200 180GB, H200 141GB, GH200 96GB, H100 NVL 94GB, RTX PRO 6000 96GB, H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| 제공업체 | 인스턴스 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) |
|---|---|---|---|---|---|
| RunPod (새 탭에서 열림)최저가 | 8x B300us | US$8.99 | 6 × B300 288GB 8개 단위로 판매; 필요한 수는 6개 | 약 US$71.92 | 약 US$52,502 |
| Nebius (새 탭에서 열림) | 8x B300 288GBeu/us | US$9.50 | 6 × B300 288GB 8개 단위로 판매; 필요한 수는 6개 | 약 US$76.00 | 약 US$55,480 |
| AWS (새 탭에서 열림) | p6-b300.48xlargeus-east-1 | US$17.80 | 6 × B300 288GB 8개 단위로 판매; 필요한 수는 6개 | 약 US$142.42 | 약 US$103,964 |
가격은 2026년 11월 13일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai 같은 마켓플레이스는 전 세계).
정밀도와 용도별 메모리
| 정밀도 | 추론 | LoRA 파인튜닝 | QLoRA 파인튜닝 | 전체 파인튜닝 |
|---|---|---|---|---|
| FP16 / BF16 | 1,509 GB | 1,760 GB | – | 12,073 GB |
| INT8 | 793 GB | – | – | – |
| INT4 | 397 GB | – | 648 GB | – |
정밀도별 가장 저렴한 GPU
8K 컨텍스트, 동시 요청 1건 추론 기준.
FP16 / BF16
약 1,509 GB · 8K토큰
공개된 그대로의 가중치. 손실은 없지만 메모리를 가장 많이 씁니다.
6 × B300 288GB
RunPod (새 탭에서 열림) · 8x B300
8개 단위로 판매; 필요한 수는 6개- GPU당 / 시간
- US$8.99
- 필요한 GPU 수
- 6
- 합계 / 시간
- 약 US$71.92
- 월간, 24시간 가동, 대략
- US$52,502
INT8
약 793 GB · 8K토큰
가중치가 절반 크기. 채팅과 RAG에서는 차이가 거의 보이지 않습니다.
5 × MI300X 192GB
RunPod (새 탭에서 열림) · 8x MI300X
8개 단위로 판매; 필요한 수는 5개- GPU당 / 시간
- US$2.39
- 필요한 GPU 수
- 5
- 합계 / 시간
- 약 US$19.12
- 월간, 24시간 가동, 대략
- US$13,958
INT4
약 397 GB · 8K토큰
가중치가 4분의 1 크기. 작은 손실은 수학과 코드에서 먼저 드러납니다.
3 × MI300X 192GB
RunPod (새 탭에서 열림) · 4x MI300X
4개 단위로 판매; 필요한 수는 3개- GPU당 / 시간
- US$2.39
- 필요한 GPU 수
- 3
- 합계 / 시간
- 약 US$9.56
- 월간, 24시간 가동, 대략
- US$6,979
추론과 파인튜닝 비교
추론 (FP16)
1×
(추론 대비 메모리)
1,509 GB
6 × B300 288GB · 약 US$71.92
LoRA 파인튜닝
1.2×
(추론 대비 메모리)
1,760 GB
7 × B300 288GB · 약 US$71.92
QLoRA 파인튜닝
0.4×
(추론 대비 메모리)
648 GB
4 × MI300X 192GB · 약 US$9.56
전체 파인튜닝
8×
(추론 대비 메모리)
12,073 GB
8개 GPU 노드 하나로는 부족
FP16 추론은 6 × B300 288GB (RunPod)로 충분합니다. LoRA는 7 × B300 288GB (RunPod), QLoRA는 4 × MI300X 192GB (RunPod), 전체 파인튜닝은 8개 GPU 노드 하나로는 부족가 필요합니다. 학습은 가중치 외에 활성화 값과 옵티마이저 상태도 메모리에 두기 때문에 같은 모델을 서비스할 때보다 GPU가 더 필요한 경우가 많습니다.
Mac이나 RTX 4090 한 장으로 돌아갈까?
RTX 4090 (24GB)
한 장으로는 안 됩니다. INT4에서도 약 397 GB가 필요해 카드의 24GB를 넘습니다. 카드 두 장 이상이나 더 큰 데이터센터용 GPU가 필요합니다.
Apple 실리콘 Mac
현실적으로 어렵습니다. INT4에서도 약 397 GB가 필요해 가장 큰 Mac이 GPU에 줄 수 있는 양을 넘습니다.
비슷한 모델
크기가 비슷한 오픈 모델.
- DeepSeek R1텍스트6844.9억 · 약 1,508 GB FP16 · 165.4만 ↓GPU 요구 사항
- DeepSeek V3텍스트6844.9억 · 약 1,508 GB FP16 · 141.3만 ↓GPU 요구 사항
- K-EXAONE 2.0텍스트7493.6억 · 약 1,650 GB FP16 · 1.4만 ↓GPU 요구 사항
- GLM-5.3텍스트7533.3억 · 약 1,659 GB FP16 · 185.3만 ↓GPU 요구 사항
- GLM 5텍스트7538.6억 · 약 1,660 GB FP16 · 124만 ↓GPU 요구 사항
- GLM 5.1텍스트7538.6억 · 약 1,660 GB FP16 · 79만 ↓GPU 요구 사항
DeepSeek V3.2: 자주 묻는 질문
DeepSeek V3.2에는 VRAM이 얼마나 필요한가요?
8K 컨텍스트, 동시 요청 1건 기준으로 FP16은 약 1,509 GB, INT8은 약 793 GB, INT4는 약 397 GB입니다. 컨텍스트가 길어지거나 동시 요청이 늘면 KV 캐시가 더해집니다.
DeepSeek V3.2을 돌리는 가장 저렴한 GPU는?
RunPod의 6 × B300 288GB (약 US$8.99 GPU당 시간 요금; 8개 단위로 판매; 필요한 수는 6개)으로, FP16 / BF16·8K 컨텍스트 추론 기준 시간당 약 US$71.92입니다. 가격은 2026년 11월 13일 기준이며 자주 바뀝니다.
DeepSeek V3.2을 GPU 한 장으로 파인튜닝할 수 있나요?
GPU 한 장으로는 어렵습니다. QLoRA도 약 648 GB가 필요해 80GB GPU에 들어가지 않습니다. LoRA는 약 1,760 GB, 전체 파인튜닝은 약 12,073 GB가 필요합니다.
이 수치는 어떻게 계산하나요?
가중치는 파라미터 수 × 파라미터당 바이트(FP16은 2, INT8은 1, INT4는 0.5)입니다. KV 캐시는 모델의 레이어 수, KV 헤드 수, 헤드 크기, 컨텍스트 길이로 구합니다. 런타임용으로 약 10%와 1GB를 더하고 각 GPU를 90%까지 채운다고 봅니다. 가격은 각 제공업체의 공개 가격 페이지에서 모은 미국 리전 온디맨드 정가입니다.
DeepSeek V3.2은 RTX 4090 같은 소비자용 GPU에서 돌아가나요?
한 장으로는 안 됩니다. INT4에서도 약 397 GB가 필요해 카드의 24GB를 넘습니다. 카드 두 장 이상이나 더 큰 데이터센터용 GPU가 필요합니다.
DeepSeek V3.2은 H100 80GB 한 장에 들어가나요?
아니요. INT4에서도 약 397 GB가 필요해 여러 GPU가 있어야 합니다.
DeepSeek V3.2에는 GPU가 몇 개 필요한가요?
FP16, 8K 컨텍스트 기준으로 80GB는 21개, 48GB는 35개, 24GB는 70개입니다. INT4라면 가중치 메모리가 약 4분의 1로 줄어듭니다.
INT8에서 DeepSeek V3.2에는 VRAM이 얼마나 필요한가요?
약 793 GB입니다. 가중치 720 GB, 8K KV 캐시 0.58 GB, 런타임 오버헤드 73 GB입니다.
DeepSeek V3.2을 한 달 내내 24시간 돌리면 얼마인가요?
저희가 찾은 가장 저렴한 구성(6 × B300 288GB (약 US$8.99 GPU당 시간 요금; 8개 단위로 판매; 필요한 수는 6개), 시간당 US$71.92 × 730시간)으로 약 US$52,502입니다. AWS, Google Cloud, Azure 중 가장 저렴한 곳은 월 약 US$103,964입니다.
FP16, INT8, INT4 중 무엇을 써야 하나요?
FP16은 품질을 그대로 유지하지만 메모리가 가장 많이 듭니다(여기서는 약 1,509 GB). INT8은 가중치를 절반으로 줄이며 대부분의 채팅 용도에서 품질 손실이 적습니다. INT4(AWQ, GPTQ, GGUF Q4)는 4분의 1로 줄여 합계 약 397 GB이고, 수학과 코드에서 주로 드러나는 작은 품질 저하가 있습니다.
DeepSeek V3.2은 Mac에서 돌아가나요?
현실적으로 어렵습니다. INT4에서도 약 397 GB가 필요해 가장 큰 Mac이 GPU에 줄 수 있는 양을 넘습니다.
vLLM과 llama.cpp 중 무엇을 쓸까요?
vLLM은 NVIDIA와 AMD GPU에서 많은 요청을 동시에 처리하도록 만들어졌고 GPU 메모리 대부분을 KV 캐시로 잡아 둡니다. llama.cpp는 Mac과 CPU를 포함해 거의 모든 환경에서 GGUF 파일을 돌리며, 개인이나 작은 팀에 맞습니다. 같은 정밀도라면 필요한 메모리는 비슷합니다.
가격은 2026년 11월 13일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai 같은 마켓플레이스는 전 세계).
계산 방법
- 가중치: 파라미터 수 × 파라미터당 바이트. FP16은 2, INT8은 1, INT4는 0.5이며, INT8과 INT4에는 양자화 스케일 몫으로 약 5%를 더합니다.
- KV 캐시: 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 컨텍스트 × 요청 수 × 2바이트. 값은 모델의 config.json에서 가져옵니다. 빠진 값은 추정하고 그렇다고 표시합니다.
- 오버헤드: 약 10%에 런타임용 1GB를 더합니다. vLLM이 확보하는 양과 비슷합니다.
- 파인튜닝: LoRA는 16비트 가중치에 작은 어댑터와 그 옵티마이저, 활성화 값을 더합니다. QLoRA는 4비트 가중치 위에서 같은 일을 합니다. 전체 파인튜닝은 혼합 정밀도 Adam 기준 파라미터당 약 16바이트(가중치, 그래디언트, 옵티마이저 상태)에 활성화 값이 더해집니다.
- GPU: 각 GPU 메모리의 90%까지 채우고 노드당 8개까지로 봅니다. 비용은 미국 리전의 온디맨드 정가이며, 마켓플레이스형 클라우드는 중앙값입니다.