추론 제공업체
추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
다른 이름: model host, inference API, model API provider
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델을 실행하려면 GPU, 모델 서빙 서버, 확장, 모니터링이 필요합니다. 추론 제공업체는 이 모든 것을 맡고 모델을 API로 노출합니다. 대형 연구소처럼 자사 모델만 제공하는 곳도 있습니다. Together AI, Fireworks AI, Groq, Baseten, Replicate 같은 곳은 많은 오픈 웨이트 모델을 호스팅하므로, 같은 모델을 여러 회사에서 이용할 수 있습니다.
서로 다른 점
같은 모델을 제공하는 업체라도 가격, 속도, 컨텍스트 윈도, 레이트 리밋, 양자화가 크게 다를 수 있습니다. 일부는 비용을 아끼려고 낮은 정밀도 버전을 실행하기 때문입니다. 많은 업체가 OpenAI 호환 API를 제공하므로, 업체를 바꾸는 일은 대개 base URL과 키를 바꾸는 것으로 끝납니다. 최신 토큰 가격은 AI 모델 가격 페이지에서 비교하십시오.
애그리게이터
라우터는 여러 제공업체 앞에 놓입니다. 예를 들어 Hugging Face의 Inference Providers는 토큰 하나와 OpenAI 호환 엔드포인트로 여러 파트너 업체의 모델을 이용하게 하며, 모델마다 가장 빠르거나 가장 싼 업체를 고를 수 있습니다. OpenRouter도 비슷하게 동작합니다. 이런 서비스는 업체 간 모델 폴백을 더 단순하게 만듭니다.
추론 제공업체와 GPU 클라우드
GPU 클라우드는 머신을 빌려주고 모델은 사용자가 직접 실행합니다. 추론 제공업체는 모델의 출력을 빌려줍니다. 전자는 통제권이 더 크고, 후자는 일이 덜 듭니다.
확인할 것
요청이 어디서 처리되는지, 보관되거나 학습에 쓰이는지는 개인 정보와 데이터 레지던시에 중요합니다. 각 업체의 데이터 약관을 읽고 제로 데이터 보존을 제공하는지 확인하십시오.
관련 용어
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- OpenAI 호환 API(OpenAI-compatible API)
- OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.
- 토큰 가격(Token pricing)
- 토큰 가격(token pricing)은 대부분의 AI 모델 API가 요금을 매기는 방식입니다. 보내는 입력 토큰 100만 개당 정해진 가격과, 모델이 생성하는 출력 토큰 100만 개당 별도의, 보통 더 높은 가격이 있으며, 캐시된 입력과 배치 작업에는 할인이 적용됩니다.
- GPU 클라우드
- GPU 클라우드(GPU cloud)는 AI 학습, 미세 조정, 추론을 위해 GPU 머신을 시간 단위나 초 단위로 빌려주는 서비스입니다. 네오클라우드(neocloud)라고도 불리는 전문 업체는 GPU에 집중하며, 대형 범용 클라우드보다 저렴한 경우가 많습니다.
- 모델 폴백
- 모델 폴백(model fallback)은 첫 번째 선택이 실패하거나, 시간 초과되거나, 레이트 리밋에 걸리거나, 입력을 거부할 때 요청을 예비 모델이나 제공업체로 보내는 규칙입니다. 장애가 나도 AI 기능이 계속 동작하게 합니다.