셀프 호스팅(AI 모델)
AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
다른 이름: self-hosted, self-hosted LLM, on-premises AI
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
호스팅 API에서는 제공업체가 모델을 실행하고 사용자가 데이터를 보냅니다. 셀프 호스팅은 이를 뒤집습니다. 모델 가중치, 보통 오픈 웨이트 모델을 내려받아 직접 서빙합니다.
팀이 셀프 호스팅하는 이유
주된 이유는 통제와 프라이버시입니다. 프롬프트와 출력이 내 환경을 떠나지 않으므로 데이터 레지던시와 제3자에게 보낼 수 없는 데이터 문제에 도움이 됩니다. 정확한 모델 버전을 고정할 수 있어 사용 중에 바뀌지 않고, 파인튜닝도 할 수 있습니다. 사용량이 많고 꾸준하면 GPU를 임대하거나 소유하는 편이 토큰당 비용을 내는 것보다 쌀 수 있습니다.
방법
단일 컴퓨터에서는 Ollama, llama.cpp, LM Studio가 로컬 LLM을 실행하고 localhost에서 API를 제공합니다. 프로덕션 트래픽에는 vLLM과 SGLang 같은 서버가 연속 배칭과 OpenAI 호환 API를 더하므로 기존 클라이언트 코드가 그대로 작동합니다. 하드웨어는 직접 소유하거나 GPU 클라우드에서 빌릴 수 있습니다. GPU 계산기로 모델에 필요한 사양을 추정할 수 있습니다.
비용
가동 시간, 확장, 보 안 패치, 모니터링, 용량 계획을 직접 책임져야 합니다. 트래픽이 적을 때도 GPU는 놀면서 비용이 듭니다. 최고의 오픈 모델도 일부 작업에서는 선두 비공개 모델에 뒤질 수 있고, 일부 비공개 모델은 아예 셀프 호스팅할 수 없습니다. 각 모델의 라이선스도 사용 조건을 정합니다.
중간 지점
추론 제공업체의 전용 배포나 Modal 같은 관리형 플랫폼은 서버를 직접 관리하지 않아도 예약된 하드웨어에서 원하는 모델을 실행해 줍니다. 운영 부담을 덜면서 통제권을 어느 정도 얻을 수 있지만, 데이터는 여전히 내 네트워크를 떠납니다.
관련 용어
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- 데이터 레지던시
- 데이터 레지던시(data residency)는 고객의 데이터를 EU처럼 선택한 지리적 지역에 저장하고, 흔히 처리도 그 지역에서 하게 하는 통제 수단입니다. 데이터가 어디에 있어야 하는지에 관한 팀 자체의 법적, 계약상, 고객 요구를 충족하게 합니다.
- 로컬 LLM(Local LLM)
- 로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
- 오픈 웨이트 모델(Open-weight model)
- 오픈 웨이트 모델(open-weight model)은 학습된 가중치가 공개되어 누구나 내려받아 실행할 수 있는 모델입니다. 학습 코드나 전체 학습 데이터가 빠진 경우가 많아 반드시 오픈소스인 것은 아닙니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.