Qwen2 VL 2B Instruct GPU 요구 사항: VRAM과 가장 저렴한 GPU
Qwen2 VL 2B Instruct의 파라미터는 22.1억개이며 BF16로 공개되었습니다. 텍스트뿐 아니라 이미지도 읽습니다. 이미지마다 컨텍스트에 토큰이 더해집니다. apache-2.0 라이선스로 공개되어 상업적 사용이 허용됩니다.
- 파라미터
- 22.1억
- 최소 메모리(INT4)
- 약 2.5 GB
- 가장 저렴한 GPU 시간당 요금(FP16)
- US$0.16
- 유형
- 비전
Qwen/Qwen2-VL-2B-Instruct
- 파라미터 22.1억
- 유형 비전
- 작업 image-text-to-text
- 최대 컨텍스트 32K
- 라이선스 apache-2.0
- 다운로드 92.5만
- 좋아요 531
Qwen2 VL 2B Instruct 계산 결과
추가 설정
Qwen2 VL 2B Instruct에 필요한 GPU 메모리는 약 6.1 GB
추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.
메모리 구성
- 가중치 4.4 GB
- KV 캐시 0.23 GB
- 런타임 오버헤드 1.5 GB
- 합계 6.1 GB
GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용 자가 예상되면 여유를 더 두세요.
| 순위 | 구성 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) | 제공업체 |
|---|---|---|---|---|---|---|
| 1 | 1 × RTX 3090 24GB최저가Ampere · GDDR6X | US$0.16 | 1 | US$0.16 | US$117 | Lium (새 탭에서 열림)1x RTX 3090 Ti |
| 2 | 1 × RTX 4090 24GBAda Lovelace · GDDR6X | US$0.30 | 1 | US$0.30 | US$219 | Lium (새 탭에서 열림)1x RTX 4090 |
| 3 | 1 × RTX 5090 32GBBlackwell · GDDR7 | US$0.40 | 1 | US$0.40 | US$292 | Lium (새 탭에서 열림)1x RTX 5090 |
| 4 | 1 × RTX A6000 48GBAmpere · GDDR6 | US$0.42 | 1 | US$0.42 | US$307 | Lium (새 탭에서 열림)1x RTX A6000 |
| 5 | 1 × L4 24GBAda Lovelace · GDDR6 | US$0.45 | 1 | US$0.45 | US$326 | Vast.ai (새 탭에서 열림)1x L4 (median of 3 offers) |
| 6 | 1 × RTX PRO 6000 96GBBlackwell · GDDR7 | US$0.50 | 1 | US$0.50 | US$365 | RunPod (새 탭에서 열림)1x RTX PRO 6000 MaxQ |
| 7 | 1 × A40 48GBAmpere · GDDR6 | US$0.52 | 1 | US$0.52 | US$381 | Vast.ai (새 탭에서 열림)1x A40 (median of 5 offers) |
| 8 | 1 × T4 16GBTuring · GDDR6 | US$0.53 | 1 | US$0.53 | US$384 | AWS (새 탭에서 열림)g4dn.xlarge |
| 9 | 1 × RTX 6000 Ada 48GBAda Lovelace · GDDR6 | US$0.75 | 1 | US$0.75 | US$548 | Lium (새 탭에서 열림)1x RTX 6000 Ada Generation |
| 10 | 1 × L40S 48GBAda Lovelace · GDDR6 | US$0.80 | 1 | US$0.80 | US$585 | Vast.ai (새 탭에서 열림)1x L40S (median of 7 offers) |
| 11 | 1 × A100 40GBAmpere · HBM2 | US$0.80 | 1 | US$0.80 | US$586 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 15 offers) |
| 12 | 1 × A10 24GBAmpere · GDDR6 | US$1.01 | 1 | US$1.01 | US$734 | AWS (새 탭에서 열림)g5.xlarge |
| 13 | 1 × A100 80GBAmpere · HBM2e | US$1.12 | 1 | US$1.12 | US$820 | Vast.ai (새 탭에서 열림)1x A100 SXM4 (median of 16 offers) |
| 14 | 1 × H100 80GBHopper · HBM3 | US$1.39 | 1 | US$1.39 | US$1,015 | Lium (새 탭에서 열림)1x H100 80GB HBM3 |
| 15 | 1 × GH200 96GBHopper · HBM3 | US$1.99 | 1 | US$1.99 | US$1,453 | Vultr (새 탭에서 열림)vbm-72c-480gb-gh200-gpu (bare metal) |
| 16 | 1 × MI300X 192GBCDNA 3 · HBM3 | US$2.39 | 1 | US$2.39 | US$1,745 | RunPod (새 탭에서 열림)1x MI300X |
| 17 | 1 × H200 141GBHopper · HBM3e | US$2.90 | 1 | US$2.90 | US$2,117 | Lium (새 탭에서 열림)1x H200 NVL |
| 18 | 1 × V100 16GBVolta · HBM2 | US$3.06 | 1 | US$3.06 | US$2,234 | AWS (새 탭에서 열림)p3.2xlarge |
| 19 | 1 × H100 NVL 94GBHopper · HBM3 | US$3.19 | 1 | US$3.19 | US$2,329 | RunPod (새 탭에서 열림)1x H100 NVL |
| 20 | 1 × B200 180GBBlackwell · HBM3e | US$5.60 | 1 | US$5.60 | US$4,088 | Lium (새 탭에서 열림)1x B200 |
| 21 | 1 × B300 288GBBlackwell Ultra · HBM3e | US$8.00 | 1 | US$8.00 | US$5,840 | Lium (새 탭에서 열림)1x B300 SXM6 |
| 22 | 1 × GB200 186GBBlackwell · HBM3e | US$10.50 | 14개 단위로 판매; 필요한 수는 1개 | US$42.00 | US$30,660 | CoreWeave (새 탭에서 열림)GB200 NVL72 |
| 제공업체 | 인스턴스 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) |
|---|---|---|---|---|---|
| Lium (새 탭에서 열림)최저가 | 1x RTX 3090 Ti전 세계 마켓플레이스 | US$0.16 | 1 × RTX 3090 24GB | 약 US$0.16 | 약 US$117 |
| Vast.ai (새 탭에서 열림) | 1x RTX 3090 (median of 32 offers)전 세계 마켓플레이스 | US$0.26 | 1 × RTX 3090 24GB | 약 US$0.26 | 약 US$186 |
| RunPod (새 탭에서 열림) | 1x RTX 3090 Tius | US$0.46 | 1 × RTX 3090 24GB | 약 US$0.46 | 약 US$336 |
| AWS (새 탭에서 열림) | g4dn.xlargeus-east-1 | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Azure (새 탭에서 열림) | NC4as_T4_v3eastus | US$0.53 | 1 × T4 16GB | 약 US$0.53 | 약 US$384 |
| Google Cloud (새 탭에서 열림) | g2-standard-4us-central1 | US$0.71 | 1 × L4 24GB | 약 US$0.71 | 약 US$516 |
| Lambda (새 탭에서 열림) | 1x A6000us | US$1.09 | 1 × RTX A6000 48GB | 약 US$1.09 | 약 US$796 |
| Nebius (새 탭에서 열림) | 1x L40S 48GBeu/us | US$1.55 | 1 × L40S 48GB | 약 US$1.55 | 약 US$1,132 |
| Vultr (새 탭에서 열림) | vcg-l40s-16c-180g-48vramus | US$1.67 | 1 × L40S 48GB | 약 US$1.67 | 약 US$1,220 |
| CoreWeave (새 탭에서 열림) | GH200us | US$6.50 | 1 × GH200 96GB | 약 US$6.50 | 약 US$4,745 |
가격은 2026년 11월 16일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai와 Lium 같은 마켓플레이스는 전 세계).
정밀도와 용도별 메모리
| 정밀도 | 추론 | LoRA 파인튜닝 | QLoRA 파인튜닝 | 전체 파인튜닝 |
|---|---|---|---|---|
| FP16 / BF16 | 6.1 GB | 7.9 GB | – | 41 GB |
| INT8 | 3.8 GB | – | – | – |
| INT4 | 2.5 GB | – | 4.3 GB | – |
정밀도별 가장 저렴한 GPU
8K 컨텍스트, 동시 요청 1건 추론 기준.
FP16 / BF16
약 6.1 GB · 8K토큰
공개된 그대로의 가중치. 손실은 없지만 메모리를 가장 많이 씁니다.
1 × RTX 3090 24GB
Lium (새 탭에서 열림) · 1x RTX 3090 Ti
- GPU당 / 시간
- US$0.16
- 필요한 GPU 수
- 1
- 합계 / 시간
- 약 US$0.16
- 월간, 24시간 가동, 대략
- US$117
INT8
약 3.8 GB · 8K토큰
가중치가 절반 크기. 채팅과 RAG에서는 차이가 거의 보이지 않습니다.
1 × RTX 3090 24GB
Lium (새 탭에서 열림) · 1x RTX 3090 Ti
- GPU당 / 시간
- US$0.16
- 필요한 GPU 수
- 1
- 합계 / 시간
- 약 US$0.16
- 월간, 24시간 가동, 대략
- US$117
INT4
약 2.5 GB · 8K토큰
가중치 가 4분의 1 크기. 작은 손실은 수학과 코드에서 먼저 드러납니다.
1 × RTX 3090 24GB
Lium (새 탭에서 열림) · 1x RTX 3090 Ti
- GPU당 / 시간
- US$0.16
- 필요한 GPU 수
- 1
- 합계 / 시간
- 약 US$0.16
- 월간, 24시간 가동, 대략
- US$117
추론과 파인튜닝 비교
추론 (FP16)
1×
(추론 대비 메모리)
6.1 GB
1 × RTX 3090 24GB ·