gpt-oss-120b GPU 요구 사항: VRAM과 가장 저렴한 GPU

gpt-oss-120b의 파라미터는 1168.3억개이며 FP4로 공개되었습니다. 전문가 혼합(MoE) 모델로, 128개 전문가 중 4개가 각 토큰을 처리합니다(약 57.5억 파라미터). 그래서 생성 속도는 그 크기의 모델과 비슷합니다. 다만 모든 전문가가 GPU 메모리에 올라가 있어야 하므로 아래 메모리 수치는 전체 모델 기준입니다. apache-2.0 라이선스로 공개되어 상업적 사용이 허용됩니다.

파라미터: 1168.3억
최소 메모리(INT4): 약 69 GB
가장 저렴한 GPU 시간당 요금(FP16): US$0.59
유형: 텍스트

openai/gpt-oss-120b

Hugging Face에서 보기 (새 탭에서 열림)리뷰 읽기

파라미터 1168.3억
토큰당 활성 57.5억
유형 텍스트
작업 text-generation
최대 컨텍스트 128K
라이선스 apache-2.0
다운로드 243.3만
좋아요 5.5천

추가 설정

컨텍스트 길이: 8K토큰

gpt-oss-120b에 필요한 GPU 메모리는 약 258 GB

추론(vLLM), FP16 / BF16, 컨텍스트 8K토큰, 동시 요청 1건.

메모리 구성

가중치 234 GB
KV 캐시 0.3 GB
런타임 오버헤드 24 GB
합계 258 GB

GPU 수는 순간적인 부하에 대비해 각 카드의 10%를 비워 두고 계산합니다. 긴 프롬프트나 많은 동시 사용자가 예상되면 여유를 더 두세요.

들어맞는 GPU(저렴한 순)이 설정을 한 노드에서 감당할 수 있는 추적 중인 모든 GPU 유형을 시간당 총비용 순으로 정렬
순위	구성	GPU당 / 시간	필요한 GPU 수	합계 / 시간	합계 / 월(24시간 가동)	제공업체
1	6 × A40 48GB최저가Ampere · GDDR6	US$0.59	68개 단위로 판매; 필요한 수는 6개	US$4.72	US$3,446	RunPod (새 탭에서 열림)8x A40
2	2 × MI300X 192GBCDNA 3 · HBM3	US$2.39	2	US$4.78	US$3,489	RunPod (새 탭에서 열림)2x MI300X
3	6 × RTX A6000 48GBAmpere · GDDR6	US$0.69	68개 단위로 판매; 필요한 수는 6개	US$5.52	US$4,030	RunPod (새 탭에서 열림)8x RTX A6000
4	3 × RTX PRO 6000 96GBBlackwell · GDDR7	US$1.72	34개 단위로 판매; 필요한 수는 3개	US$6.89	US$5,033	Vast.ai (새 탭에서 열림)4x RTX PRO 6000 S (median of 8 offers)
5	4 × A100 80GBAmpere · HBM2e	US$2.09	4	US$8.36	US$6,103	RunPod (새 탭에서 열림)4x A100 PCIe
6	6 × L40S 48GBAda Lovelace · GDDR6	US$1.09	68개 단위로 판매; 필요한 수는 6개	US$8.72	US$6,366	RunPod (새 탭에서 열림)8x L40S
7	6 × RTX 6000 Ada 48GBAda Lovelace · GDDR6	US$1.09	68개 단위로 판매; 필요한 수는 6개	US$8.72	US$6,366	RunPod (새 탭에서 열림)8x RTX 6000 Ada
8	1 × B300 288GBBlackwell Ultra · HBM3e	US$8.99	1	US$8.99	US$6,563	RunPod (새 탭에서 열림)1x B300
9	4 × H100 80GBHopper · HBM3	US$2.89	4	US$11.56	US$8,439	RunPod (새 탭에서 열림)4x H100 PCIe
10	4 × H100 NVL 94GBHopper · HBM3	US$3.19	4	US$12.76	US$9,315	RunPod (새 탭에서 열림)4x H100 NVL
11	3 × H200 141GBHopper · HBM3e	US$3.79	34개 단위로 판매; 필요한 수는 3개	US$15.16	US$11,067	RunPod (새 탭에서 열림)4x H200 NVL
12	2 × B200 180GBBlackwell · HBM3e	US$7.89	2	US$15.78	US$11,519	Lambda (새 탭에서 열림)2x B200 SXM6
13	8 × A100 40GBAmpere · HBM2	US$1.99	8	US$15.92	US$11,622	Lambda (새 탭에서 열림)8x HGX A100
14	2 × GB200 186GBBlackwell · HBM3e	US$10.50	24개 단위로 판매; 필요한 수는 2개	US$42.00	US$30,660	CoreWeave (새 탭에서 열림)GB200 NVL72
8개 초과: 여러 노드 필요: RTX 5090 32GB, RTX 4090 24GB, RTX 3090 24GB, L4 24GB, A10 24GB, T4 16GB, V100 16GB

클라우드별 비용제공업체별로 들어맞는 가장 저렴한 상품. 대략적인 값, 가격은 2026년 11월 13일 기준.
제공업체	인스턴스	GPU당 / 시간	필요한 GPU 수	합계 / 시간	합계 / 월(24시간 가동)
RunPod (새 탭에서 열림)최저가	8x A40us	US$0.59	6 × A40 48GB 8개 단위로 판매; 필요한 수는 6개	약 US$4.72	약 US$3,446
Vast.ai (새 탭에서 열림)	4x RTX PRO 6000 S (median of 8 offers)전 세계 마켓플레이스	US$1.72	3 × RTX PRO 6000 96GB 4개 단위로 판매; 필요한 수는 3개	약 US$6.89	약 US$5,033
Nebius (새 탭에서 열림)	1x B300 288GBeu/us	US$9.50	1 × B300 288GB	약 US$9.50	약 US$6,935
Vultr (새 탭에서 열림)	vbm-48c-1024gb-4-a100-gpu (bare metal)us	US$2.40	4 × A100 80GB	약 US$9.59	약 US$7,000
Azure (새 탭에서 열림)	NC96ads_A100_v4eastus	US$3.67	4 × A100 80GB	약 US$14.69	약 US$10,725
Lambda (새 탭에서 열림)	2x B200 SXM6us	US$7.89	2 × B200 180GB	약 US$15.78	약 US$11,519
AWS (새 탭에서 열림)	g7e.24xlargeus-east-1	US$4.14	3 × RTX PRO 6000 96GB 4개 단위로 판매; 필요한 수는 3개	약 US$16.57	약 US$12,098
Google Cloud (새 탭에서 열림)	g4-standard-192us-central1	US$4.50	3 × RTX PRO 6000 96GB 4개 단위로 판매; 필요한 수는 3개	약 US$18.00	약 US$13,140
CoreWeave (새 탭에서 열림)	L40Sus	US$2.25	6 × L40S 48GB 8개 단위로 판매; 필요한 수는 6개	약 US$18.00	약 US$13,140

가격은 2026년 11월 13일 기준. 모든 비용은 대략적인 값입니다(온디맨드, 미국 달러, 주로 미국 리전. Vast.ai 같은 마켓플레이스는 전 세계).

정밀도와 용도별 메모리

컨텍스트 8K토큰, 동시 요청 1건 기준. LoRA와 전체 파인튜닝은 16비트 가중치, QLoRA는 4비트 가중치에서 시작하므로 나머지 칸은 비워 둡니다.
정밀도	추론	LoRA 파인튜닝	QLoRA 파인튜닝	전체 파인튜닝
FP16 / BF16	258 GB	302 GB	–	2,060 GB
INT8	136 GB	–	–	–
INT4	69 GB	–	112 GB	–

정밀도별 가장 저렴한 GPU

8K 컨텍스트, 동시 요청 1건 추론 기준.

FP16 / BF16

약 258 GB · 8K토큰

공개된 그대로의 가중치. 손실은 없지만 메모리를 가장 많이 씁니다.

6 × A40 48GB

RunPod (새 탭에서 열림) · 8x A40

8개 단위로 판매; 필요한 수는 6개

GPU당 / 시간: US$0.59
필요한 GPU 수: 6
합계 / 시간: 약 US$4.72
월간, 24시간 가동, 대략: US$3,446

INT8

약 136 GB · 8K토큰

가중치가 절반 크기. 채팅과 RAG에서는 차이가 거의 보이지 않습니다.

4 × A40 48GB

RunPod (새 탭에서 열림) · 4x A40

GPU당 / 시간: US$0.59
필요한 GPU 수: 4
합계 / 시간: 약 US$2.36
월간, 24시간 가동, 대략: US$1,723

INT4

약 69 GB · 8K토큰

가중치가 4분의 1 크기. 작은 손실은 수학과 코드에서 먼저 드러납니다.

1 × RTX PRO 6000 96GB

RunPod (새 탭에서 열림) · 1x RTX PRO 6000 MaxQ

GPU당 / 시간: US$0.50
필요한 GPU 수: 1
합계 / 시간: 약 US$0.50
월간, 24시간 가동, 대략: US$365

추론과 파인튜닝 비교

추론 (FP16)
1×
(추론 대비 메모리)
258 GB
6 × A40 48GB · 약 US$4.72
LoRA 파인튜닝
1.2×
(추론 대비 메모리)
302 GB
7 × A40 48GB · 약 US$4.72
QLoRA 파인튜닝
0.4×
(추론 대비 메모리)
112 GB
3 × A40 48GB · 약 US$2.36
전체 파인튜닝
8×
(추론 대비 메모리)
2,060 GB
8 × B300 288GB · 약 US$71.92

FP16 추론은 6 × A40 48GB (RunPod)로 충분합니다. LoRA는 7 × A40 48GB (RunPod), QLoRA는 3 × A40 48GB (RunPod), 전체 파인튜닝은 8 × B300 288GB (RunPod)가 필요합니다. 학습은 가중치 외에 활성화 값과 옵티마이저 상태도 메모리에 두기 때문에 같은 모델을 서비스할 때보다 GPU가 더 필요한 경우가 많습니다.

Mac이나 RTX 4090 한 장으로 돌아갈까?

RTX 4090 (24GB)

한 장으로는 안 됩니다. INT4에서도 약 69 GB가 필요해 카드의 24GB를 넘습니다. 카드 두 장 이상이나 더 큰 데이터센터용 GPU가 필요합니다.

Apple 실리콘 Mac

네, 메모리가 충분하면 됩니다. INT4에서 약 69 GB가 필요하므로 통합 메모리 96GB 이상인 Mac이 기준입니다(macOS는 그중 약 4분의 3을 GPU에 씁니다). 생성 속도는 데이터센터용 GPU보다 느립니다.

직접 운영할까, 토큰당 요금을 낼까?

직접 운영

저희가 찾은 가장 저렴한 FP16 구성은 RunPod의 6 × A40 48GB로, 계속 가동하면 월 약 US$3,446입니다. 트래픽이 꾸준하거나 데이터를 자체 장비에 둬야 할 때 알맞습니다.

호스팅 API 사용

gpt-oss-120b 리뷰에서 API로 쓸 수 있는 곳과 비용을 정리했습니다. 사용량이 적거나 들쭉날쭉하면 보통 토큰당 요금이 더 저렴합니다.

리뷰 읽기

비슷한 모델

크기가 비슷한 오픈 모델.

다른 모델 계산하기

gpt-oss-120b: 자주 묻는 질문

gpt-oss-120b에는 VRAM이 얼마나 필요한가요?

8K 컨텍스트, 동시 요청 1건 기준으로 FP16은 약 258 GB, INT8은 약 136 GB, INT4는 약 69 GB입니다. 컨텍스트가 길어지거나 동시 요청이 늘면 KV 캐시가 더해집니다.

gpt-oss-120b을 돌리는 가장 저렴한 GPU는?

RunPod의 6 × A40 48GB (약 US$0.59 GPU당 시간 요금; 8개 단위로 판매; 필요한 수는 6개)으로, FP16 / BF16·8K 컨텍스트 추론 기준 시간당 약 US$4.72입니다. 가격은 2026년 11월 13일 기준이며 자주 바뀝니다.

gpt-oss-120b을 GPU 한 장으로 파인튜닝할 수 있나요?

GPU 한 장으로는 어렵습니다. QLoRA도 약 112 GB가 필요해 80GB GPU에 들어가지 않습니다. LoRA는 약 302 GB, 전체 파인튜닝은 약 2,060 GB가 필요합니다.

이 수치는 어떻게 계산하나요?

가중치는 파라미터 수 × 파라미터당 바이트(FP16은 2, INT8은 1, INT4는 0.5)입니다. KV 캐시는 모델의 레이어 수, KV 헤드 수, 헤드 크기, 컨텍스트 길이로 구합니다. 런타임용으로 약 10%와 1GB를 더하고 각 GPU를 90%까지 채운다고 봅니다. 가격은 각 제공업체의 공개 가격 페이지에서 모은 미국 리전 온디맨드 정가입니다.

gpt-oss-120b은 RTX 4090 같은 소비자용 GPU에서 돌아가나요?

한 장으로는 안 됩니다. INT4에서도 약 69 GB가 필요해 카드의 24GB를 넘습니다. 카드 두 장 이상이나 더 큰 데이터센터용 GPU가 필요합니다.

gpt-oss-120b은 H100 80GB 한 장에 들어가나요?

네, 8K 컨텍스트라면 INT4에서 들어갑니다.

gpt-oss-120b에는 GPU가 몇 개 필요한가요?

FP16, 8K 컨텍스트 기준으로 80GB는 4개, 48GB는 6개, 24GB는 12개입니다. INT4라면 가중치 메모리가 약 4분의 1로 줄어듭니다.

INT8에서 gpt-oss-120b에는 VRAM이 얼마나 필요한가요?

약 136 GB입니다. 가중치 123 GB, 8K KV 캐시 0.3 GB, 런타임 오버헤드 13 GB입니다.

gpt-oss-120b을 한 달 내내 24시간 돌리면 얼마인가요?

저희가 찾은 가장 저렴한 구성(6 × A40 48GB (약 US$0.59 GPU당 시간 요금; 8개 단위로 판매; 필요한 수는 6개), 시간당 US$4.72 × 730시간)으로 약 US$3,446입니다. AWS, Google Cloud, Azure 중 가장 저렴한 곳은 월 약 US$10,725입니다.

FP16, INT8, INT4 중 무엇을 써야 하나요?

FP16은 품질을 그대로 유지하지만 메모리가 가장 많이 듭니다(여기서는 약 258 GB). INT8은 가중치를 절반으로 줄이며 대부분의 채팅 용도에서 품질 손실이 적습니다. INT4(AWQ, GPTQ, GGUF Q4)는 4분의 1로 줄여 합계 약 69 GB이고, 수학과 코드에서 주로 드러나는 작은 품질 저하가 있습니다.

gpt-oss-120b은 Mac에서 돌아가나요?

vLLM과 llama.cpp 중 무엇을 쓸까요?

vLLM은 NVIDIA와 AMD GPU에서 많은 요청을 동시에 처리하도록 만들어졌고 GPU 메모리 대부분을 KV 캐시로 잡아 둡니다. llama.cpp는 Mac과 CPU를 포함해 거의 모든 환경에서 GGUF 파일을 돌리며, 개인이나 작은 팀에 맞습니다. 같은 정밀도라면 필요한 메모리는 비슷합니다.