GLM 5 GPU 요구 사항: VRAM과 가장 저렴한 GPU
GLM 5의 파라미터는 7538.6억개이며 BF16로 공개되었습니다. 전문가 혼합(MoE) 모델로, 256개 전문가 중 8개가 각 토큰을 처리합니다(약 517.4억 파라미터). 그래서 생성 속도는 그 크기의 모델과 비슷합니다. 다만 모든 전문가가 GPU 메모리에 올라가 있어야 하므로 아래 메모리 수치는 전체 모델 기준입니다. mit 라이선스로 공개되어 상업적 사용이 허용됩니다.
- 파라미터
- 7538.6억
- 최소 메모리(INT4)
- 약 437 GB
- 가장 저렴한 GPU 시간당 요금(FP16)
- US$8.99
- 유형
- 텍스트
zai-org/GLM-5
- 파라미터 7538.6억
- 토큰당 활성 517.4억
- 유형 텍스트
- 작업 text-generation
- 최대 컨텍스트 198K
- 라이선스 mit
- 다운로드 106.3만
- 좋아요 2.1천
GLM 5 계산 결과
추가 설정
GLM 5에 필요한 GPU 메모리는 약 1,660 GB
추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.
메모리 구성
- 가중치 1,508 GB
- KV 캐시 0.74 GB
- 런타임 오버헤드 152 GB
- 합계 1,660 GB
GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용자가 예상되면 여유를 더 두세요.
| 순위 | 구성 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) | 제공업체 |
|---|---|---|---|---|---|---|
| 1 | 7 × B300 288GB최저가Blackwell Ultra · HBM3e | US$8.99 | 78개 단위로 판매; 필요한 수는 7개 | US$71.92 | US$52,502 | RunPod (새 탭에서 열림)8x B300 |
| 8개 초과: 여러 노드 필요: GB200 186GB, MI300X 192GB, B200 180GB, H200 141GB, GH200 96GB, H100 NVL 94GB, RTX PRO 6000 96GB, H100 80GB, A100 80GB, L40S 48GB, RTX 6000 Ada 48GB, RTX A6000 48GB, A40 48GB, A100 40GB, RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB | ||||||
| 제공업체 | 인스턴스 | GPU당 / 시간 | 필요한 GPU 수 | 합계 / 시간 | 합계 / 월(24시간 가동) |
|---|---|---|---|---|---|
| RunPod (새 탭에서 열림)최저가 | 8x B300us | US$8.99 | 7 × B300 288GB 8개 단위로 판매; 필요한 수는 7개 | 약 US$71.92 | 약 US$52,502 |
| Nebius (새 탭에서 열림) | 8x B300 288GBeu/us | US$9.50 | 7 × B300 288GB 8개 단위로 판매; 필요한 수는 7개 | 약 US$76.00 | 약 US$55,480 |
| AWS (새 탭에서 열림) | p6-b300.48xlargeus-east-1 | US$17.80 | 7 × B300 288GB 8개 단위로 판매; 필요한 수는 7개 | 약 US$142.42 | 약 US$103,964 |
가격은 2026년 11월 16일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai와 Lium 같은 마켓플레이스는 전 세계).
정밀도와 용도별 메모리
| 정밀도 | 추론 | LoRA 파인튜닝 | QLoRA 파인튜닝 | 전체 파인튜닝 |
|---|---|---|---|---|
| FP16 / BF16 | 1,660 GB | 1,935 GB | – | 13,280 GB |
| INT8 | 873 GB | – | – | – |
| INT4 | 437 GB | – | 712 GB | – |
정밀도별 가장 저렴한 GPU
8K 컨텍스트, 동시 요청 1건 추론 기준.
FP16 / BF16
약 1,660 GB · 8K토큰
공개된 그대로의 가중치. 손실은 없지만 메모리를 가장 많이 씁니다.
7 × B300 288GB
RunPod (새 탭에서 열림) · 8x B300
8개 단위로 판매; 필요한 수는 7개- GPU당 / 시간
- US$8.99
- 필요한 GPU 수
- 7
- 합계 / 시간
- 약 US$71.92
- 월간, 24시간 가동, 대략
- US$52,502
INT8
약 873 GB · 8K토큰
가중치가 절반 크기. 채팅과 RAG에서는 차이가 거의 보이지 않습니다.
6 × MI300X 192GB
RunPod (새 탭에서 열림) · 8x MI300X
8개 단위로 판매; 필요한 수는 6개- GPU당 / 시간
- US$2.39
- 필요한 GPU 수
- 6
- 합계 / 시간
- 약 US$19.12
- 월간, 24시간 가동, 대략
- US$13,958
INT4
약 437 GB · 8K토큰
가중치가 4분의 1 크기. 작은 손실은 수학과 코드에서 먼저 드러납니다.
3 × MI300X 192GB
RunPod (새 탭에서 열림) · 4x MI300X
4개 단위로 판매; 필요한 수는 3개- GPU당 / 시간
- US$2.39
- 필요한 GPU 수
- 3
- 합계 / 시간
- 약 US$9.56
- 월간, 24시간 가동, 대략
- US$6,979
추론과 파인튜닝 비교
추론 (FP16)
1×
(추론 대비 메모리)
1,660 GB
7 × B300 288GB · 약 US$71.92
LoRA 파인튜닝
1.2×
(추론 대비 메모리)
1,935 GB
8 × B300 288GB · 약 US$71.92
QLoRA 파인튜닝
0.4×
(추론 대비 메모리)
712 GB
5 × MI300X 192GB · 약 US$19.12
전체 파인튜닝
8×
(추론 대비 메모리)
13,280 GB
8개 GPU 노드 하나로는 부족
FP16 추론은 7 × B300 288GB (RunPod)로 충분합니다. LoRA는 8 × B300 288GB (RunPod), QLoRA는 5 × MI300X 192GB (RunPod), 전체 파인튜닝은 8개 GPU 노드 하나로는 부족가 필요합니다. 학습은 가중치 외에 활성화 값과 옵티마이저 상태도 메모리에 두기 때문에 같은 모델을 서비스할 때보다 GPU가 더 필요한 경우가 많습니다.
Mac이나 RTX 4090 한 장으로 돌아갈까?
RTX 4090 (24GB)
한 장으로는 안 됩니다. INT4에서도 약 437 GB가 필요해 카드의 24GB를 넘습니다. 카드 두 장 이상이나 더 큰 데이터센터용 GPU가 필요합니다.
Apple 실리콘 Mac
현실적으로 어렵습니다. INT4에서도 약 437 GB가 필요해 가장 큰 Mac이 GPU에 줄 수 있는 양을 넘습니다.
비슷한 모델
크기가 비슷한 오픈 모델.