본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

모델 서빙(Model serving)

모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.

다른 이름: inference server, serving engine

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

노트북에서 `generate()`를 호출하는 것은 사용자 한 명에게는 충분합니다. 제품에는 메모리가 바닥나거나 모두를 기다리게 하지 않고 많은 사용자가 동시에 접속할 수 있는 서버가 필요합니다. 그 소프트웨어가 서빙 엔진이며, 추론 서버라고도 합니다. LLM용으로 흔한 오픈소스 예로는 vLLM, SGLang, llama.cpp의 서버가 있습니다.

서빙 엔진이 하는 일

모델 가중치를 VRAM에 올리며, 흔히 텐서 병렬화로 여러 GPU에 나눕니다. 보통 OpenAI 호환 API로 요청을 받고 토큰을 스트리밍으로 돌려줍니다. 주된 일은 처리량입니다. PagedAttention 논문은 높은 처리량의 서빙에는 많은 요청을 한꺼번에 배치로 묶는 것이 필요하다고 지적합니다. 엔진은 연속 배칭을 써서 새 요청이 실행 중인 배치에 합류하게 하고, KV cache를 신중하게 관리합니다. 낭비되는 캐시 메모리가 수용할 수 있는 요청 수를 제한하기 때문입니다.

셀프 호스팅 또는 관리형

서빙 엔진을 자신의 장비나 임대한 GPU에서 실행하거나(셀프 호스팅), 서버리스 GPU 플랫폼에서 실행하거나, 아예 건너뛰고 추론 제공업체에 토큰당 비용을 낼 수 있습니다. 셀프 호스팅은 모델, 데이터, 대량 사용 시 비용을 통제할 수 있게 해 주지만, 용량 계획, 업그레이드, 모니터링을 직접 떠맡게 됩니다. 추론 서빙 가이드에서 선택지를 비교합니다.

측정할 것

첫 토큰까지의 시간, 사용자별 및 시스템 전체의 초당 토큰 수, 오류율, GPU 메모리 사용량을 추적하십시오. 처리량을 위해 배치를 키우는 것처럼 하나를 조정하면, 사용자별 지연 시간처럼 다른 하나가 나빠지는 경우가 많습니다.

관련 용어

추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
연속 배칭
연속 배칭(continuous batching)은 배치 전체가 끝나기를 기다리지 않고, 생성 단계마다 실행 중인 GPU 배치에 새 요청을 넣고 끝난 요청을 빼는 모델 서빙 기법입니다. GPU를 쉬지 않게 하고 처리량을 높입니다.
셀프 호스팅(AI 모델)
AI 모델 셀프 호스팅(self-hosting)은 제공업체의 API를 호출하는 대신, 자체 서버, 임대한 GPU, 노트북처럼 직접 통제하는 하드웨어에서 모델을 실행하는 것입니다. 모델을 고르고 데이터를 지킬 수 있지만, 인프라를 직접 운영해야 합니다.
추론 제공업체
추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
OpenAI 호환 API(OpenAI-compatible API)
OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.

출처