GPU 계산기
오픈 모델에는 GPU가 얼마나 필요할까?
Hugging Face의 오픈 모델을 고르면 필요한 메모리, 그에 맞는 GPU 수, AWS·Google Cloud·Azure·GPU 클라우드에서 실행하는 대략적인 비용을 계산합니다.
Qwen3 0.6B Qwen/Qwen3-0.6B
전용 페이지Qwen3 0.6B 계산 결과
추가 설정
Qwen3 0.6B에 필요한 GPU 메모리는 약 3.7 GB
추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.
메모리 구성
- 가중치 1.5 GB
- KV 캐시 0.94 GB
- 런타임 오버헤드 1.2 GB
- 합계 3.7 GB
GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용자가 예상되면 여유를 더 두세요.
| 순위 | 구성 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) | 제공업체 |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GB최저가Ampere · GDDR6X | US$0.25 | 1 | US$0.25 | US$183 | Vast.ai (새 탭에서 열림)1x RTX 3090 (median of 29 offers) |
| 2 | 1 × V100 16GBVolta · HBM2 | US$0.15 | 12개 단위로 판매; 필요한 수는 1개 | US$0.30 | US$220 | Vast.ai (새 탭에서 열림)2x Tesla V100 (median of 4 offers) |
| 3 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$0.48 | 1 | US$0.48 | US$354 | Vast.ai (새 탭에서 열림)1x RTX 4090 (median of 34 offers) |
| 4 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$0.50 | 1 | US$0.50 | US$365 | RunPod (새 탭에서 열림)1x RTX PRO 6000 MaxQ |
| 5 | 1 × T4 16GBTuring · GDDR6 | US$0.53 | 1 | US$0.53 | US$384 | AWS (새 탭에서 열림)g4dn.xlarge |
| 6 | 1 × A40 48GBAmpere · GDDR6 | US$0.59 | 1 | US$0.59 | US$431 | RunPod (새 탭에서 열림)1x A40 |
| 7 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$0.67 | 1 | US$0.67 | US$488 | Vast.ai (새 탭에서 열림)1x RTX 6000Ada (median of 8 offers) |
| 8 | 1 × A100 40GBAmpere · HBM2 | US$0.68 | 1 | US$0.68 | US$497 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 8 offers) |
| 9 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$0.69 | 1 | US$0.69 | US$504 | RunPod (새 탭에서 열림)1x RTX A6000 |
| 10 | 1 × L4 24GBAda Lovelace · GDDR6 | US$0.69 | 1 | US$0.69 | US$504 | RunPod (새 탭에서 열림)1x L4 |
| 11 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$0.78 | 1 | US$0.78 | US$571 | Vast.ai (새 탭에서 열림)1x L40S (median of 6 offers) |
| 12 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$0.87 | 1 | US$0.87 | US$634 | Vast.ai (새 탭에서 열림)1x RTX 5090 (median of 55 offers) |
| 13 | 1 × A10 24GBAmpere · GDDR6 | US$1.01 | 1 | US$1.01 | US$734 | AWS (새 탭에서 열림)g5.xlarge |
| 14 | 1 × A100 80GBAmpere · HBM2e | US$1.21 | 1 | US$1.21 | US$884 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 8 offers) |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$1.99 | 1 | US$1.99 | US$1,453 | Vultr (새 탭에서 열림)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$2.39 | 1 | US$2.39 | US$1,745 | RunPod (새 탭에서 열림)1x MI300X |
| 17 | 1 × H100 80GBHopper · HBM3 | US$2.89 | 1 | US$2.89 | US$2,110 | RunPod (새 탭에서 열림)1x H100 PCIe |
| 18 | 1 × H100 NVL 94GBHopper · HBM3 | US$3.19 | 1 | US$3.19 | US$2,329 | RunPod (새 탭에서 열림)1x H100 NVL |
| 19 | 1 × H200 141GBHopper · HBM3e | US$3.79 | 1 | US$3.79 | US$2,767 | RunPod (새 탭에서 열림)1x H200 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$7.99 | 1 | US$7.99 | US$5,833 | RunPod (새 탭에서 열림)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$8.99 | 1 | US$8.99 | US$6,563 | RunPod (새 탭에서 열림)1x B300 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$10.50 | 14개 단위로 판매; 필요한 수는 1개 | US$42.00 | US$30,660 | CoreWeave (새 탭에서 열림)GB200 NVL72 |
| 제공업체 | 인스턴스 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) |
|---|---|---|---|---|---|
| Vast.ai (새 탭에서 열림)최저가 | 1x RTX 3090 (median of 29 offers)전 세계 마켓플레이스 | US$0.25 | 1 × RTX 3090 24GB | 약 US$0.25 | 약 US$183 |
| RunPod (새 탭에서 열림) | 1x RTX 3090 Tius | US$0.46 | 1 × RTX 3090 24GB | 약 US$0.46 | 약 US$336 |
| AWS (새 탭에서 열림) | g4dn.xlargeus-east-1 | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Azure (새 탭에서 열림) | NC4as_T4_v3eastus | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Google Cloud (새 탭에서 열림) | g2-standard-4us-central1 | US$0.71 | 1 × L4 24GB | 약 US$0.71 | 약 US$516 |
| Lambda (새 탭에서 열림) | 1x A6000us | US$1.09 | 1 × RTX A6000 48GB | 약 US$1.09 | 약 US$796 |
| Nebius (새 탭에서 열림) | 1x L40S 48GBeu/us | US$1.55 | 1 × L40S 48GB | 약 US$1.55 | 약 US$1,132 |
| Vultr (새 탭에서 열림) | vcg-l40s-16c-180g-48vramus | US$1.67 | 1 × L40S 48GB | 약 US$1.67 | 약 US$1,220 |
| CoreWeave (새 탭에서 열림) | GH200us | US$6.50 | 1 × GH200 96GB | 약 US$6.50 | 약 US$4,745 |
가격은 2026년 11월 13일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai 같은 마켓플레이스는 전 세계).
비슷한 모델
크기가 비슷한 오픈 모델.
- Qwen3 0.6B텍스트7.5억 · 약 3.7 GB FP16 · 99.4만 ↓GPU 요구 사항
- gpt2 large텍스트8.1억 · 약 3 GB FP16 · 104.3만 ↓GPU 요구 사항
- BitNet b1.58 2B4T텍스트8.5억 · 약 3.2 GB FP16 · 9.9천 ↓GPU 요구 사항
- Qwen3 0.6B Base텍스트6억 · 약 3.3 GB FP16 · 57.2만 ↓GPU 요구 사항
- bloomz 560m텍스트5.6억 · 약 2.7 GB FP16 · 59.5만 ↓GPU 요구 사항
- Limite 1B - Violetto텍스트10.4억 · 약 3.7 GB FP16 · 4천 ↓GPU 요구 사항
Qwen3 0.6B: 자주 묻는 질문
Qwen3 0.6B에는 VRAM이 얼마나 필요한가요?
8K 컨텍스트, 동시 요청 1건 기준으로 FP16은 약 3.7 GB, INT8은 약 2.9 GB, INT4는 약 2.5 GB입니다. 컨텍스트가 길어지거나 동시 요청이 늘면 KV 캐시가 더해집니다.
Qwen3 0.6B을 돌리는 가장 저렴한 GPU는?
Vast.ai의 1 × RTX 3090 24GB (약 US$0.25 GPU당 시간 요금)으로, FP16 / BF16·8K 컨텍스트 추론 기준 시간당 약 US$0.25입니다. 가격은 2026년 11월 13일 기준이며 자주 바뀝니다.
Qwen3 0.6B을 GPU 한 장으로 파인튜닝할 수 있나요?
네, QLoRA라면 가능합니다. 약 2.5 GB로 80GB GPU 한 장에 들어갑니다. LoRA는 약 3.7 GB, 전체 파인튜닝은 약 15 GB가 필요합니다.
이 수치는 어떻게 계산하나요?
가중치는 파라미터 수 × 파라미터당 바이트(FP16은 2, INT8은 1, INT4는 0.5)입니다. KV 캐시는 모델의 레이어 수, KV 헤드 수, 헤드 크기, 컨텍스트 길이로 구합니다. 런타임용으로 약 10%와 1GB를 더하고 각 GPU를 90%까지 채운다고 봅니다. 가격은 각 제공업체의 공개 가격 페이지에서 모은 미국 리전 온디맨드 정가입니다.
Qwen3 0.6B은 RTX 4090 같은 소비자용 GPU에서 돌아가나요?
네. FP16 / BF16, 8K 컨텍스트에서 약 3.7 GB로 카드의 24GB에 들어갑니다.
Qwen3 0.6B은 H100 80GB 한 장에 들어가나요?
네, 8K 컨텍스트라면 FP16 / BF16, INT8, INT4에서 들어갑니다.
Qwen3 0.6B에는 GPU가 몇 개 필요한 가요?
FP16, 8K 컨텍스트 기준으로 80GB는 1개, 48GB는 1개, 24GB는 1개입니다. INT4라면 가중치 메모리가 약 4분의 1로 줄어듭니다.
INT8에서 Qwen3 0.6B에는 VRAM이 얼마나 필요한가요?
약 2.9 GB입니다. 가중치 0.79 GB, 8K KV 캐시 0.94 GB, 런타임 오버헤드 1.2 GB입니다.
Qwen3 0.6B을 한 달 내내 24시간 돌리면 얼마인가요?
저희가 찾은 가장 저렴한 구성(1 × RTX 3090 24GB (약 US$0.25 GPU당 시간 요금), 시간당 US$0.25 × 730시간)으로 약 US$183입니다. AWS, Google Cloud, Azure 중 가장 저렴한 곳은 월 약 US$384입니다.
FP16, INT8, INT4 중 무엇을 써야 하나요?
FP16은 품질을 그대로 유지하지만 메모리가 가장 많이 듭니다(여기서는 약 3.7 GB). INT8은 가중치를 절반으로 줄이며 대부분의 채팅 용도에서 품질 손실이 적습니다. INT4(AWQ, GPTQ, GGUF Q4)는 4분의 1로 줄여 합계 약 2.5 GB이고, 수학과 코드에서 주로 드러나는 작은 품질 저하가 있습니다.
Qwen3 0.6B은 Mac에서 돌아가나요?
네, 메모리가 충분하면 됩니다. INT4에서 약 2.5 GB가 필요하므로 통합 메모리 16GB 이상인 Mac이 기준입니다(macOS는 그중 약 4분의 3을 GPU에 씁니다). 생성 속도는 데이터센터용 GPU보다 느립니다.
vLLM과 llama.cpp 중 무엇을 쓸까요?
vLLM은 NVIDIA와 AMD GPU에서 많은 요청을 동시에 처리하도록 만들어졌고 GPU 메모리 대부분을 KV 캐시로 잡아 둡니다. llama.cpp는 Mac과 CPU를 포함해 거의 모든 환경에서 GGUF 파일을 돌리며, 개인이나 작은 팀에 맞습니다. 같은 정밀도라면 필요한 메모리는 비슷합니다.
가격은 2026년 11월 13일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai 같은 마켓플레이스는 전 세계).
인기 모델
정밀도별 수치를 계산해 둔 전용 페이지.
- all-MiniLM-L6-v2임베딩2271.4만 · 약 1 GB FP16 · 1.7억 ↓GPU 요구 사항
- Qwen3 0.6B텍스트7.5억 · 약 3.7 GB FP16 · 1914.1만 ↓GPU 요구 사항
- Qwen3 14B텍스트147.7억 · 약 35 GB FP16 · 1301.1만 ↓GPU 요구 사항
- Qwen3 Embedding 0.6B임베딩6억 · 약 2.3 GB FP16 · 862만 ↓GPU 요구 사항
- DeepSeek V3.2텍스트6853.6억 · 약 1,509 GB FP16 · 844.2만 ↓GPU 요구 사항
- bge large en v1.5임베딩3.4억 · 약 1.7 GB FP16 · 774.5만 ↓GPU 요구 사항
- Qwen3 VL 8B Instruct비전87.7억 · 약 22 GB FP16 · 713만 ↓GPU 요구 사항
- multilingual e5 large임베딩5.6억 · 약 2.2 GB FP16 · 711.3만 ↓GPU 요구 사항
- Qwen3.8-27B비전277.8억 · 약 63 GB FP16 · 696만 ↓GPU 요구 사항
- Gemma 4비전312.7억 · 약 71 GB FP16 · 661.5만 ↓GPU 요구 사항
- MiniMax H3 (Hailuo 3.0)동영상331.2억 · 약 74 GB FP16 · 653.6만 ↓GPU 요구 사항
- Qwen2.5 7B Instruct텍스트76.2억 · 약 18 GB FP16 · 644.5만 ↓GPU 요구 사항
- GLM-5.3-Flash비전3213.2억 · 약 708 GB FP16 · 639.1만 ↓GPU 요구 사항
- Qwen3.5 9B비전96.5억 · 약 23 GB FP16 · 620.1만 ↓GPU 요구 사항
- Qwen3 8B텍스트81.9억 · 약 20 GB FP16 · 616.5만 ↓GPU 요구 사항
- Unlimited OCR비전33.4억 · 약 8.9 GB FP16 · 595.2만 ↓GPU 요구 사항
- Qwen2.5 VL 7B Instruct비전82.9억 · 약 20 GB FP16 · 582.5만 ↓GPU 요구 사항
- gpt-oss-20b텍스트209.1억 · 약 47 GB FP16 · 567.4만 ↓GPU 요구 사항
- gemma 4 26B A4B it비전258.1억 · 약 58 GB FP16 · 525.2만 ↓GPU 요구 사항
- Qwen2.5 1.5B Instruct텍스트15.4억 · 약 4.7 GB FP16 · 514.6만 ↓GPU 요구 사항
- Qwen3.5 4B비전46.6억 · 약 12 GB FP16 · 508.8만 ↓GPU 요구 사항
- Whisper large-v3-turbo음성8.1억 · 약 2.8 GB FP16 · 488만 ↓GPU 요구 사항
- dolphin 2.9.1 yi 1.5 34b텍스트343.9억 · 약 79 GB FP16 · 483.7만 ↓GPU 요구 사항
- Qwen3.5 2B비전22.7억 · 약 6.1 GB FP16 · 462.6만 ↓GPU 요구 사항
- snowflake arctic embed l v2.0임베딩5.7억 · 약 2.2 GB FP16 · 446.5만 ↓GPU 요구 사항
- Qwen2.5 0.5B Instruct텍스트4.9억 · 약 2.2 GB FP16 · 429.2만 ↓GPU 요구 사항
- Llama 3.1 8B Instruct텍스트80.3억 · 약 20 GB FP16 · 419.9만 ↓GPU 요구 사항
- Qwen3.6 35B A3B비전359.5억 · 약 80 GB FP16 · 403.6만 ↓GPU 요구 사항
- OmniVoice음성6.1억 · 약 2.3 GB FP16 · 393.4만 ↓GPU 요구 사항
- Qwen3 VL 4B Instruct비전44.4억 · 약 12 GB FP16 · 349.2만 ↓GPU 요구 사항
- Qwen3 4B텍스트40.2억 · 약 11 GB FP16 · 320.7만 ↓GPU 요구 사항
- Qwen3.5 0.8B비전8.7억 · 약 3 GB FP16 · 320만 ↓GPU 요구 사항
- Qwen3 32B텍스트327.6억 · 약 75 GB FP16 · 314.6만 ↓GPU 요구 사항
- Qwen3.8-Flash-Next비전1800억 · 약 397 GB FP16 · 309.8만 ↓GPU 요구 사항
- Qwen3 1.7B텍스트20.3억 · 약 6.5 GB FP16 · 302만 ↓GPU 요구 사항
- Qwen3 4B Instruct 2507텍스트40.2억 · 약 11 GB FP16 · 262.2만 ↓GPU 요구 사항
- gpt-oss-120b텍스트1168.3억 · 약 258 GB FP16 · 243.3만 ↓GPU 요구 사항
- Qwen3.6 27B비전277.8억 · 약 63 GB FP16 · 241.6만 ↓GPU 요구 사항
- Qwen3 Embedding 4B임베딩40.2억 · 약 9.8 GB FP16 · 238.9만 ↓GPU 요구 사항
- DeepSeek V4 Flash 0731텍스트3041.8억 · 약 671 GB FP16 · 236.7만 ↓GPU 요구 사항
- moondream2비전19.3억 · 약 6 GB FP16 · 235.9만 ↓GPU 요구 사항
- Qwen3-Embedding and Qwen3-Reranker임베딩75.7억 · 약 18 GB FP16 · 233.4만 ↓GPU 요구 사항
- mxbai embed large v1임베딩3.4억 · 약 1.7 GB FP16 · 224.7만 ↓GPU 요구 사항
- Qwen2.5 3B Instruct텍스트30.9억 · 약 8.1 GB FP16 · 220.6만 ↓GPU 요구 사항
- SAM 3 (Segment Anything Model 3)비전8.6억 · 약 2.9 GB FP16 · 209.2만 ↓GPU 요구 사항
- bge reranker large임베딩5.6억 · 약 2.2 GB FP16 · 202.3만 ↓GPU 요구 사항
- DeepSeek OCR비전33.4억 · 약 8.9 GB FP16 · 190.1만 ↓GPU 요구 사항
- NVIDIA Nemotron 3 Nano 4B BF16텍스트39.7억 · 약 11 GB FP16 · 188.6만 ↓GPU 요구 사항
- GLM-5.3텍스트7533.3억 · 약 1,659 GB FP16 · 185.3만 ↓GPU 요구 사항
- Qwen2.5 Coder 14B Instruct텍스트147.7억 · 약 35 GB FP16 · 183.1만 ↓GPU 요구 사항
계산 방법
- 가중치: 파라미터 수 × 파라미터당 바이트. FP16은 2, INT8은 1, INT4는 0.5이며, INT8과 INT4에는 양자화 스케일 몫으로 약 5%를 더합니다.
- KV 캐시: 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 컨텍스트 × 요청 수 × 2바이트. 값은 모델의 config.json에서 가져옵니다. 빠진 값은 추정하고 그렇다고 표시합니다.
- 오버헤드: 약 10%에 런타임용 1GB를 더합니다. vLLM이 확보하는 양과 비슷합니다.
- 파인튜닝: LoRA는 16비트 가중치에 작은 어댑터와 그 옵티마이저, 활성화 값을 더합니다. QLoRA는 4비트 가중치 위에서 같은 일을 합니다. 전체 파인튜닝은 혼합 정밀도 Adam 기준 파라미터당 약 16바이트(가중치, 그래디언트, 옵티마이저 상태)에 활성화 값이 더해집니다.
- GPU: 각 GPU 메모리의 90%까지 채우고 노드당 8개까지로 봅니다. 비용은 미국 리전의 온디맨드 정가이며, 마켓플레이스형 클라우드는 중앙값입니다.