GPU 계산기
오픈 모델에는 GPU가 얼마나 필요할까?
Hugging Face의 오픈 모델을 고르면 필요한 메모리, 그에 맞는 GPU 수, AWS·Google Cloud·Azure·GPU 클라우드에서 실행하는 대략적인 비용을 계산합니다.
Qwen3 0.6B Qwen/Qwen3-0.6B
전용 페이지Qwen3 0.6B 계산 결과
추가 설정
Qwen3 0.6B에 필요한 GPU 메모리는 약 3.7 GB
추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.
메모리 구성
- 가중치 1.5 GB
- KV 캐시 0.94 GB
- 런타임 오버헤드 1.2 GB
- 합계 3.7 GB
GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용자가 예상되면 여유를 더 두세요.
| 순위 | 구성 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) | 제공업체 |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GB최저가Ampere · GDDR6X | US$0.16 | 1 | US$0.16 | US$117 | Lium (새 탭에서 열림)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$0.30 | 1 | US$0.30 | US$219 | Lium (새 탭에서 열림)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$0.40 | 1 | US$0.40 | US$292 | Lium (새 탭에서 열림)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$0.42 | 1 | US$0.42 | US$307 | Lium (새 탭에서 열림)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | US$0.45 | 1 | US$0.45 | US$326 | Vast.ai (새 탭에서 열림)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$0.50 | 1 | US$0.50 | US$365 | RunPod (새 탭에서 열림)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | US$0.52 | 1 | US$0.52 | US$381 | Vast.ai (새 탭에서 열림)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | US$0.53 | 1 | US$0.53 | US$384 | AWS (새 탭에서 열림)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$0.75 | 1 | US$0.75 | US$548 | Lium (새 탭에서 열림)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$0.80 | 1 | US$0.80 | US$585 | Vast.ai (새 탭에서 열림)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | US$0.80 | 1 | US$0.80 | US$586 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | US$1.01 | 1 | US$1.01 | US$734 | AWS (새 탭에서 열림)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | US$1.12 | 1 | US$1.12 | US$820 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | US$1.39 | 1 | US$1.39 | US$1,015 | Lium (새 탭에서 열림)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$1.99 | 1 | US$1.99 | US$1,453 | Vultr (새 탭에서 열림)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$2.39 | 1 | US$2.39 | US$1,745 | RunPod (새 탭에서 열림)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | US$2.90 | 1 | US$2.90 | US$2,117 | Lium (새 탭에서 열림)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | US$3.06 | 1 | US$3.06 | US$2,234 | AWS (새 탭에서 열림)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | US$3.19 | 1 | US$3.19 | US$2,329 | RunPod (새 탭에서 열림)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$5.60 | 1 | US$5.60 | US$4,088 | Lium (새 탭에서 열림)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$8.00 | 1 | US$8.00 | US$5,840 | Lium (새 탭에서 열림)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$10.50 | 14개 단위로 판매; 필요한 수는 1개 | US$42.00 | US$30,660 | CoreWeave (새 탭에서 열림)GB200 NVL72 |
| 제공업체 | 인스턴스 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) |
|---|---|---|---|---|---|
| Lium (새 탭에서 열림)최저가 | 1x RTX 3090 Ti전 세계 마켓플레이스 | US$0.16 | 1 × RTX 3090 24GB | 약 US$0.16 | 약 US$117 |
| Vast.ai (새 탭에서 열림) | 1x RTX 3090 (median of 32 offers)전 세계 마켓플레이스 | US$0.26 | 1 × RTX 3090 24GB | 약 US$0.26 | 약 US$186 |
| RunPod (새 탭에서 열림) | 1x RTX 3090 Tius | US$0.46 | 1 × RTX 3090 24GB | 약 US$0.46 | 약 US$336 |
| AWS (새 탭에서 열림) | g4dn.xlargeus-east-1 | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Azure (새 탭에서 열림) | NC4as_T4_v3eastus | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Google Cloud (새 탭에서 열림) | g2-standard-4us-central1 | US$0.71 | 1 × L4 24GB | 약 US$0.71 | 약 US$516 |
| Lambda (새 탭에서 열림) | 1x A6000us | US$1.09 | 1 × RTX A6000 48GB | 약 US$1.09 | 약 US$796 |
| Nebius (새 탭에서 열림) | 1x L40S 48GBeu/us | US$1.55 | 1 × L40S 48GB | 약 US$1.55 | 약 US$1,132 |
| Vultr (새 탭에서 열림) | vcg-l40s-16c-180g-48vramus | US$1.67 | 1 × L40S 48GB | 약 US$1.67 | 약 US$1,220 |
| CoreWeave (새 탭에서 열림) | GH200us | US$6.50 | 1 × GH200 96GB | 약 US$6.50 | 약 US$4,745 |
가격은 2026년 11월 16일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai와 Lium 같은 마켓플레이스는 전 세계).
비슷한 모델
크기가 비슷한 오픈 모델.
- Qwen3 0.6B텍 스트7.5억 · 약 3.7 GB FP16 · 83.5만 ↓GPU 요구 사항
- gpt2 large텍스트8.1억 · 약 3 GB FP16 · 109.6만 ↓GPU 요구 사항
- BitNet b1.58 2B4T텍스트8.5억 · 약 3.2 GB FP16 · 8.9천 ↓GPU 요구 사항
- Qwen3 0.6B Base텍스트6억 · 약 3.3 GB FP16 · 49.1만 ↓GPU 요구 사항
- bloomz 560m텍스트5.6억 · 약 2.7 GB FP16 · 78.9만 ↓GPU 요구 사항
- Limite 1B - Violetto텍스트10.4억 · 약 3.7 GB FP16 · 3.4천 ↓GPU 요구 사항
Qwen3 0.6B: 자주 묻는 질문
Qwen3 0.6B에는 VRAM이 얼마나 필요한가요?
8K 컨텍스트, 동시 요청 1건 기준으로 FP16은 약 3.7 GB, INT8은 약 2.9 GB, INT4는 약 2.5 GB입니다. 컨텍스트가 길어 지거나 동시 요청이 늘면 KV 캐시가 더해집니다.
Qwen3 0.6B을 돌리는 가장 저렴한 GPU는?
Lium의 1 × RTX 3090 24GB (약 US$0.16 GPU당 시간 요금)으로, FP16 / BF16·8K 컨텍스트 추론 기준 시간당 약 US$0.16입니다. 가격은 2026년 11월 16일 기준이며 자주 바뀝니다.
Qwen3 0.6B을 GPU 한 장으로 파인튜닝할 수 있나요?
네, QLoRA라면 가능합니다. 약 2.5 GB로 80GB GPU 한 장에 들어갑니다. LoRA는 약 3.7 GB, 전체 파인튜닝은 약 15 GB가 필요합니다.
이 수치는 어떻게 계산하나요?
가중치는 파라미터 수 × 파라미터당 바이트(FP16은 2, INT8은 1, INT4는 0.5)입니다. KV 캐시는 모델의 레이어 수, KV 헤드 수, 헤드 크기, 컨텍스트 길이로 구합니다. 런타임용으로 약 10%와 1GB를 더하고 각 GPU를 90%까지 채운다고 봅니다. 가격은 각 제공업체의 공개 가격 페이지에서 모은 미국 리전 온디맨드 정가입니다.
Qwen3 0.6B은 RTX 4090 같은 소비자용 GPU에서 돌아가나요?
네. FP16 / BF16, 8K 컨텍스트에서 약 3.7 GB로 카드의 24GB에 들어갑니다.
Qwen3 0.6B은 H100 80GB 한 장에 들어가나요?
네, 8K 컨텍스트라면 FP16 / BF16, INT8, INT4에서 들어갑니다.
Qwen3 0.6B에는 GPU가 몇 개 필요한가요?
FP16, 8K 컨텍스트 기준으로 80GB는 1개, 48GB는 1개, 24GB는 1개입니다. INT4라면 가 중치 메모리가 약 4분의 1로 줄어듭니다.
INT8에서 Qwen3 0.6B에는 VRAM이 얼마나 필요한가요?
약 2.9 GB입니다. 가중치 0.79 GB, 8K KV 캐시 0.94 GB, 런타임 오버헤드 1.2 GB입니다.
Qwen3 0.6B을 한 달 내내 24시간 돌리면 얼마인가요?
저희가 찾은 가장 저렴한 구성(1 × RTX 3090 24GB (약 US$0.16 GPU당 시간 요금), 시간당 US$0.16 × 730시간)으로 약 US$117입니다. AWS, Google Cloud, Azure 중 가장 저렴한 곳은 월 약 US$384입니다.
FP16, INT8, INT4 중 무엇을 써야 하나요?
FP16은 품질을 그대로 유지하지만 메모리가 가장 많이 듭니다(여기서는 약 3.7 GB). INT8은 가중치를 절반으로 줄이며 대부분의 채팅 용도에서 품질 손실이 적습니다. INT4(AWQ, GPTQ, GGUF Q4)는 4분의 1로 줄여 합계 약 2.5 GB이고, 수학과 코드에서 주로 드러나는 작은 품질 저하가 있습니다.
Qwen3 0.6B은 Mac에서 돌아가나요?
네, 메모리가 충분하면 됩니다. INT4에서 약 2.5 GB가 필요하므로 통합 메모리 16GB 이상인 Mac이 기준입니다(macOS는 그중 약 4분의 3을 GPU에 씁니다). 생성 속도는 데이터센터용 GPU보다 느립니다.
vLLM과 llama.cpp 중 무엇을 쓸까요?
vLLM은 NVIDIA와 AMD GPU에서 많은 요청을 동시에 처리하도록 만들어졌고 GPU 메모리 대부분을 KV 캐시로 잡아 둡니다. llama.cpp는 Mac과 CPU를 포함해 거의 모든 환경에서 GGUF 파일을 돌리며, 개인이나 작은 팀 에 맞습니다. 같은 정밀도라면 필요한 메모리는 비슷합니다.
가격은 2026년 11월 16일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai와 Lium 같은 마켓플레이스는 전 세계).
인기 모델
정밀도별 수치를 계산해 둔 전용 페이지.