서버리스 GPU(Serverless GPU)
서버리스 GPU(serverless GPU)는 코드나 모델을 배포하면 플랫폼이 요청이 들어올 때만 GPU 워커를 시작하고, 실행된 시간만큼 청구하며, 유휴 시에는 0으로 축소하는 클라우드 모델입니다.
다른 이름: serverless inference
작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식
GPU 서버를 임대하면 바쁘든 아니든 시간당 비용을 내고, 장비도 직접 관리합니다. Runpod의 Serverless 제품, Modal, Replicate, Baseten 같은 서버리스 GPU 플랫폼은 장비를 대신 관리합니다. 모델과 핸들러를 패키징하면, 플랫폼은 트래픽이 들어올 때 GPU에서 컨테이너를 실행하고, 부하가 걸리면 더 늘리고, 트래픽이 멈추면 없앱니다. 예를 들어 Runpod 문서는 워커가 실행되는 동안에만 비용을 내며, 짧은 유휴 시간이 지나면 워커가 0으로 축소된다고 설명합니다.
잘 맞는 경우
트래픽이 들쭉날쭉하거나 적은 경우에 맞습니다. 사내 도구, 매일 밤 도는 배치 작업, 한 시간에 몇 번 쓰이는 이미지 모델, 프로토타입 등입니다. 놀고 있는 GPU에 비용을 내지 않고, 자체 모델 서빙 클러스터를 운영할 필요도 없습니다.
콜드 스타트
주된 대가는 콜드 스타트입니다. 실행 중인 워커가 없으면 플랫폼은 답하기 전에 컨테이너를 시작하고 모델을 GPU 메모리에 올려야 합니다. 큰 모델은 불러오는 데 더 오래 걸리므로, 한동안 조용하다가 들어온 첫 요청은 느릴 수 있습니다. 플랫폼은 추가 비용을 받고 최소한의 워커를 미리 띄워 두거나, 모델 파일을 GPU 가까이에 캐싱하는 등의 옵션을 제공합니다.
다른 선택지와의 비교
사 용량이 꾸준히 많다면 AI GPU 클라우드의 전용 GPU나 셀프 호스팅이 요청당 더 싼 경우가 많습니다. 인기 모델만 필요하다면 토큰당 과금하는 추론 제공업체를 쓰면 배포 작업 자체를 피할 수 있습니다. 선택지는 배포 가이드를 참고하십시오.
관련 용어
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
- 추론 제공업체
- 추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
- 셀프 호스팅(AI 모델)
- AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
- GPU
- GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.