고르는 방법
- Kubernetes를 운영하지 않고 맞춤 모델과 파이프라인 실행: 서버리스 GPU 플랫폼.
- API 뒤의 인기 오픈 모델: 호스팅 모델 마켓플레이스.
- 기존 클라우드의 앱과 에이전트: 클라우드 제공업체의 자체 도구를 MCP를 통해 에이전트로 조작.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
자체 모델을 가져올지, 카탈로그에서 고를지
먼저 자체 가중치와 코드를 배포하는지, 다른 곳의 호스팅 모델을 호출하는지 정하십시오. GPU 플랫폼(Modal, Runpod, Baseten)은 주는 컨테이너나 Python 코드를 무엇이든 실행합니다. 마켓플레이스(Replicate, fal)는 원하는 모델이 이미 카탈로그에 있을 때 가장 강합니다. 클라우드 모델 서비스(Amazon Bedrock, Google의 Agent Platform)는 카탈로그 우선이며, 예를 들어 Bedrock의 Custom Model Import는 몇 가지 아키텍처만 받습니다. 파인튜닝했거나 흔치 않은 모델이라면 선택지가 빠르게 좁아집니다.
02
서버리스 또는 전용 GPU
서버리스 워커는 요청이 들어오면 시작하고 트래픽이 끝나면 멈추므로, 유휴 시간에는 비용이 없지만 콜드 스타트를 겪습니다. 전용 GPU는 계속 켜져 있어 매시간 비용이 들고 즉시 응답합니다. 트래픽이 들쭉날쭉하거나 적다면 서버리스가, 꾸준하다면 전용 또는 예약 용량이 더 쌉니다. 대부분의 플랫폼이 둘 다 제공합니다. Runpod에는 flex와 상시 가동 active 워커가 있고, Baseten은 유휴 요금 없이 전용 GPU 를 분 단위로 과금하며, 클라우드 서비스는 프로비저닝된 처리량을 판매합니다.
03
실제 모델로 측정한 콜드 스타트
콜드 스타트는 첫 응답 전에 컨테이너를 시작하고 가중치를 GPU 메모리에 올리는 시간입니다. 업체는 Runpod의 200 ms 미만 FlashBoot 주장처럼 최선의 경우를 인용하지만, 로딩 시간은 모델 크기와 이미지 크기에 따라 늘어납니다. 콜드 스타트 시간이 과금되는지(Runpod에서는 과금됩니다), 유휴 워커가 종료되기 전에 얼마나 기다리는지, 최소한의 워커를 미리 켜 둘 수 있는지 물어보십시오.
04
가격 모델과 배수
같은 것끼리 비교하십시오. GPU 플랫폼은 하드웨어 사용 초나 분 단위로, 마켓플레이스는 대개 출력 이미지나 동영상 초 단위로, 모델 서비스는 100만 토큰 단위로 과금하며, 배치 등급은 약 절반 가격이고 우선 등급은 정가보다 비쌉니다. 그다음 세부 조건을 읽으십시오. Modal은 리전 고정에 1.15배에서 1.75배, 선점되지 않는 용량에 3배를 받고, Google의 리전 엔드포인트는 글로벌 엔드포인트보다 약 10% 비쌉니다. 지속적인 워크로드라면 고르기 전에 각 가격 모델로 월 청구액을 계산해 보십시오.
05
GPU 가용성과 종류
필요한 GPU가 목록에 있고 필요한 수량만큼 실제로 쓸 수 있는지 확인하십시오. H100은 Runpod Community Cloud의 시간당 약 $2.69부터 Baseten 전용의 $6.50까지이며, 최상위에서는 이제 B200이 흔합니다. 더 저렴한 커뮤니티나 스팟 용량은 중단될 수 있습니다. 학습이나 아주 큰 모델이라면 InfiniBand 같은 빠른 인터커넥트가 있는 멀티 GPU 노드를 확인하십시오.
06
데이터 상주와 규정 준수
요청이 어디서 처리되는지, 데이터가 누군가의 모델 학습에 쓰이는지, 실제로 쓸 제품 등급에 어떤 인증이 적용되는지 물어보십시오. Amazon Bedrock은 프롬프트를 기본 모델 개선에 쓰지 않는다고 밝히며 HIPAA 적격입니다. Runpod는 SOC 2 Type II와 ISO 27001을 보유하지만, 규정 준수 페이지는 Community Cloud 호스트가 범위에 포함되는지 밝히지 않으며, 자체 안내는 규제 대상 데이터를 단일 테넌트 Secure Cloud로 보냅니다. Baseten Enterprise는 자체 클라우드 계정 안에서 실행할 수 있습니다. 데이터가 특정 리전에 머물러야 한다면 리전 고정이 가능한지, 비용이 얼마인지 확인하십시오.
07
오토스케일링 제어
좋은 오토스케일링은 최소 및 최대 복제본 수, 복제본당 동시성 목표, 축소 지연 시간을 설정하게 해 줍니다. 이것이 없으면 유휴 GPU에 과다 지출하거나 급증 시 요청을 놓칩니다. 무료 및 입문 플랜의 기본 동시성 한도를 확인하십시오. 대개 낮습니다.
08
종속
이식 가능한 배포는 평범한 컨테이너와 OpenAI 호환 엔드포인트입니다. 종속은 플랫폼 전용 SDK, Replicate의 Cog 같은 패키징 형식, 그리고 Bedrock Agents와 Knowledge Bases나 Google의 Agent Runtime과 Memory Bank 같은 상위 서비스로 갈수록 커집니다. 합리적인 거래일 수 있지만, 도입하기 전에 떠날 때의 비용을 계산에 넣으십시오.
선택지별 차이
서버리스 GPU 플랫폼(Modal, Runpod, Baseten)은 트래픽에 따라 확장되는 GPU에서 자체 코드나 컨테이너를 실행합니다. Modal은 코드 우선 Python이고, Runpod는 가장 저렴하고 원시 GPU에 가장 가까우며, Baseten은 토큰당 Model APIs와 함께 안정적인 프로덕션 엔드포인트를 중심으로 만들어졌습니다. 모델 마켓플레이스(Replicate, fal, Hugging Face)는 미리 만든 모델 카탈로그를 하나의 API 뒤에 두고 자체 모델 배포도 지원합니다. Replicate와 fal은 이미지, 동영상, 오디오 쪽에 기울어 있고, Hugging Face는 허브를 전용 Inference Endpoints 및 파트너 제공업체로 가는 라우터와 묶습니다.
하이퍼스케일러 모델 서비스(Amazon Bedrock, 예전 Vertex AI인 Google의 Agent Platform)는 기존 클라우드 계정 안에서 그 계정의 ID, 네트워킹, 규정 준수, 청구와 함께 프런티어 모델과 오픈 모델을 토큰 단위로 판매합니다. 기업 구매 절차를 통과하기 가장 쉬운 경로이자 떠나기 가장 어려운 경로입니다. 이 단계에 나열된 클라우드 제공업체의 MCP 서버는 이 플랫폼들의 대안이 아니라, 어떤 인프라를 고르든 에이전트가 그것을 조작하게 해 줍니다.
도구 9개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| Hugging Face도구 | 4.7/5 | 모델 허브로서는 없어서는 안 되고, 호스트로서는 경쟁력 있지만 특별하지 않으며, 곧 최대 AI 칩 판매업체의 소유가 됩니다. | 오픈 모델을 찾고, 공유하고, 시험하고, 파인튜닝하는 엔지니어와 연구팀, 그리고 비공개 모델 저장소가 필요한 조직. | 무료 계정(비공개 저장 공간 100GB, 추론 크레딧 미포함), PRO 월 $9(연산 크레딧 $2), Team 사용자당 월 $20, Enterprise 사용자당 월 $50. Spaces GPU는 시간당 $0.40부터, Inference Endpoints는 시간당 $0.03(CPU)부터, H100 시간당 $4.50. |
| Modal도구 | 4.5/5 | Modal은 우리가 읽어 본 어떤 클라우드보다 적은 절차로 Python 함수를 GPU 서비스로 바꾸며, 보장이 필요해지는 순간 웃돈을 받습니다. | 서버를 관리하지 않고 맞춤 모델을 서비스하거나 GPU 작업을 돌리고 싶은 Python 개발자와 ML 팀. | Starter $0 + 연산(월 $30 크레딧, 좌석 3개, GPU 동시 10개), Team 월 $250 + 연산($100 크레딧, 좌석 무제한, GPU 50개), Enterprise 맞춤 견적. 초 단위: H100 시간당 약 $3.95, A100 80GB 시간당 약 $2.50, B200 시간당 약 $6.25. |
| fal도구 | 4.4/5 | 제품의 중심에 이미지나 영상 생성이 있다면, fal은 새 모델이 가장 먼저 들어오고 출력 단위 가격으로 예산을 잡기 가장 쉬운 곳입니다. | 앱에 이미지나 영상 생성을 넣으면서 API 하나 뒤에 여러 모델을 두고 싶은 제품팀. | 출력 단위로 과금합니다. 예를 들어 Nano Banana 이미지당 약 $0.04, Nano Banana Pro 이미지당 $0.15, Kling v3 Pro 영상 초당 $0.14, FLUX.1 [schnell] 메가픽셀당 $0.003입니다. GPU: H100 정가 시간당 $4.50($2.49부터), B200 시간당 $7.99($5.49부터). 구매한 크레딧은 365일 동안 유효합니다. Enterprise는 견적제입니다. |
| Runpod도구 | 4.3/5 | Runpod는 싼 GPU 시간이 있는 곳입니다. 컨테이너를 직접 패키징하고, 컴플라이언스가 실제로 어느 클라우드 등급을 다루는지 확인할 각오가 되어 있다면 말입니다. | 학습, 파인튜닝, 자체 관리 추론 엔드포인트용으로 싼 GPU를 원하고 Docker를 다룰 수 있는 ML 엔지니어. | Pod 시간당: H100 SXM Secure $3.99 / Community $2.69, A100 SXM $1.79 / $1.39, B200 $7.99 / $5.98. Serverless 초 단위: H100 시간당 약 $4.79, A100 80GB 시간당 $2.72, 4090 시간당 $1.10. 저장은 GB당 월 $0.05부터. |
| Amazon Bedrock도구 | 4.3/5 | 회사가 이미 AWS에서 돌아간다면 Bedrock은 Claude와 주요 오픈 모델을 또 하나의 AWS 서비스로 만들어 줍니다. 그렇지 않다면 긴 가격 페이지와 익혀야 할 할당량 체계에 가입하는 셈입니다. | 엔터프라이즈 수준의 데이터 통제와 단일 청구서로 Claude나 오픈 모델이 필요한, 이미 AWS를 쓰는 기업. | 온디맨드 100만 토큰당 가격. 예: DeepSeek V3.2 입력 $0.62 / 출력 $1.85(미국), Qwen3 Next 80B $0.15 / $1.20(미국). Batch와 Flex 50% 할인, Priority +75%. 프로비저닝된 처리량은 모델 유닛 시간당. Custom Model Import는 모델 유닛 분당 $0.05718(US East와 West). Guardrails는 텍스트 유닛 1,000개당 $0.10부터. |
| Baseten도구 | 4.2/5 | Baseten은 규정 준수 서류가 이미 갖춰진 상태로 모델을 운영 환경에서 돌려 줍니다. 다만 전용 GPU는 다른 곳에서 빌릴 때보다 눈에 띄게 비쌉니다. | 데이터 무보관, HIPAA, 자체 클라우드 실행 옵션이 필요하며 맞춤 모델이나 파인튜닝 모델을 운영 환경에서 서빙하는 기업. | Basic 월 $0, 종량제. Pro와 Enterprise는 견적제. Model APIs는 100만 토큰당, 예: GPT OSS 120B 입력 $0.10 / 출력 $0.50, Kimi K3 $3 / $15. 전용 GPU는 분 단위: T4 시간당 약 $0.63, A100 약 $4.00, H100 약 $6.50, B200 약 $9.98. |
| Replicate도구 | 4.2/5 | Replicate는 개발자가 오늘 오후 새 이미지나 영상 모델을 써 보러 가는 곳이고, 모델 하나가 하루 종일 돌기 시작하면 청구서가 아파지는 곳입니다. | 자체 GPU를 돌리지 않고 앱에 이미지, 영상, 오디오 생성을 넣는 개발자. | 출력 단위(예: FLUX 1.1 Pro 이미지당 $0.04, FLUX Schnell 이미지 1,000장당 $3) 또는 하드웨어 초 단위: T4 시간당 $0.81, L40S $3.51, A100 80GB $5.04, H100 $5.49, 8x H100 $43.92. 무료 등급은 나와 있지 않으며, 지출이 크면 대량 할인이 있습니다. |
| Google Agent Platform (Vertex AI)도구 | 4.2/5 | Gemini가 여기에 가장 먼저 오고 Claude도 같은 청구서에 있지만, 출시 가격 두 개가 10주 안에 두 배가 되고 Google의 이름 변경으로 문서가 둘로 갈라졌습니다. | Google Cloud를 쓰거나 Gemini로 표준화하며, 기업용 통제와 Claude를 한 계정에서 원하는 팀. | 100만 토큰당, 예: Gemini 3.8 Flash 입력 $0.75 / 출력 $3.75(2026년 12월 31일까지, 그 뒤 $1.50 / $7.50), Gemini 4 Argon $2 / $10(2026년 11월 30일까지, 그 뒤 $4 / $20), Gemini 3.1 Pro Preview $2 / $12, Claude Sonnet 5.5 $2 / $10. 글로벌이 아닌 엔드포인트는 10% 비싸고, 배치는 반값입니다. Provisioned throughput은 기간에 따라 GSU 시간당 $2.74에서 $7.14. |
| InsForge저장소 | 3.8/5 | 에이전트에게는 스스로 살펴보고 바꿀 수 있는 백엔드가 필요하다는 합리적인 판단입니다. 다만 지금은 프로젝트가 젊고, 두 부분을 Vercel과 OpenRouter에 기댄다는 점이 발목을 잡습니다. | 코딩 에이전트에게 풀스택 프로토타입을 맡기고 백엔드 관리까지 에이전트가 하기를 원하는 1인 개발자와 소규모 팀. | Apache 2.0이며 자체 호스팅은 무료입니다. InsForge Cloud: Free, Pro는 월 $25 또는 연간 결제 시 월 $20이며, 여기에 프로젝트당 월 $5부터인 컴퓨팅 비용이 더해지고 월 $10 크레딧이 제공됩니다. Enterprise는 별도 견적입니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 23일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.
| 도구 | 유형 | 과금 기준 | 자체 모델 가져오기 | 온디맨드 H100 | 데이터 상주 / 규정 준수 |
|---|---|---|---|---|---|
| Hugging Face | 허브 + Inference Endpoints | 시간 단위(엔드포인트), 토큰 단위(라우터) | 예, 모든 Hub 모델 | 시간당 $4.50부터 | 공개되지 않음 |
| Modal | 서버리스 GPU(Python SDK) | 컴퓨팅 초 단위 | 예, 모든 Python 코드 | 시간당 약 $3.95 | 리전 고정 1.15배–1.75배 |
| fal | 미디어 모델 API + GPU | 출력 단위 또는 GPU 시간 단위 | 예, 임대 GPU에서 | 정가 시간당 $4.50, $2.49부터 | 공개되지 않음 |
| Runpod | GPU 클라우드: 파드 + 서버리스 | 초 단위(서버리스), 시간 단위(파드) | 예, 모든 컨테이너 | 시간당 $2.69–$3.99(파드) | 31개 리전, SOC 2, HIPAA(Secure Cloud) |
| Amazon Bedrock | 하이퍼스케일러 모델 서비스 | 토큰 단위 또는 프로비저닝 시간 단위 | 제한적(Llama, Mistral, Flan) | 해당 없음 | AWS 리전, HIPAA 적격 |
| Baseten | 전용 GPU + Model APIs | GPU 분 단위 또는 토큰 단위 | 예 | 시간당 약 $6.50 | Enterprise는 자체 클라우드에서 실행 가능 |
| Replicate | 모델 마켓플레이스 + Cog | 출력 단위 또는 초 단위 | 예, Cog로 패키징 | 시간당 $5.49 | 공개되지 않음 |
| Google Agent Platform (Vertex AI) | 하이퍼스케일러 모델 서비스 | 토큰 단위 또는 프로비저닝 GSU | 튜닝, Model Garden의 오픈 모델 | 해당 없음 | 리전 엔드포인트 약 +10% |
에이전트에 연결하기
Claude, ChatGPT, Cursor 같은 어시스턴트가 이 도구를 직접 쓸 수 있게 해 주는 MCP 서버입니다.
이 단계가 쓰이는 곳
- 문서와 대화하기: Modal부터 시작하겠습니다.
- 고객 지원 에 이전트: AWS MCP Server부터 시작하겠습니다.
- 장기 메모리를 갖춘 어시스턴트: Cloudflare MCP Server부터 시작하겠습니다.
- 이미지 생성 파이프라인: fal, Replicate부터 시작하겠습니다.
- 동영상 제작: fal부터 시작하겠습니다.
- 음성 에이전트: Modal부터 시작하겠습니다.
- 문서 처리: AWS MCP Server부터 시작하겠습니다.
- 직접 파인튜닝한 모델: Modal, Baseten부터 시작하겠습니다.