vLLM의 개요
vLLM은 프로덕션에서 언어 모델을 돌리는 서빙 엔진입니다. UC Berkeley의 Sky Computing Lab에서 시작했으며, 서버 하나가 많은 요청을 동시에 처리하게 하는 GPU 메모리 관리 방식인 PagedAttention으로 알려져 있습니다. 2,000명이 넘는 사람이 기여했습니다.
OpenAI 호환 API 서버(그리고 Anthropic Messages와 gRPC), 연속 배칭, 프리픽스 캐시, 추측 디코딩, 여러 양자화 형식, 그리고 큰 모델을 여러 GPU에 나누는 텐서, 파이프라인, 전문가 병렬화를 제공합니다. 연산 능력 7.5 이상의 NVIDIA GPU, ROCm 6.3 이상의 AMD GPU, Intel GPU를 쓰는 Linux에서 돌며, TPU와 다른 가속기용 플러그인이 있습니다.
릴리스 주기는 빠르고 호환성을 깹니다. 2026년 10월 18일에 공개된 v0.32.0은 기여자 363명의 커밋 814개를 담았고 Python 3.10을 뺐습니다.
vLLM, 쓸 만한 가치가 있습니까?
vLLM은 많은 동시 사용자에게 오픈 웨이트 모델을 서빙하는 표준 방법이며, 대부분의 팀에게 질문은 더 이상 충분히 빠르냐가 아니라 안전하게 운영할 수 있느냐입니다. GitHub 스타는 약 95,200개이고, 200개가 넘는 모델 아키텍처를 지원하며, 2026년 7월 이후 대략 2주마다 새 마이너 버전을 냈습니다.
PagedAttention은 어텐션 캐시를 작은 블록으로 저장해 GPU 메모리가 놀지 않게 하며, 카드 한 장이 동시에 담을 수 있는 요청 수를 늘립니다. 연속 배칭, 청크 프리필, 프리픽스 캐시가 이를 계속 바쁘게 합니다. 서빙 API가 OpenAI 형식을 쓰므로 대부분의 클라이언트 코드는 새 base URL만 있으면 되며, FP8과 NVFP4부터 GPTQ, AWQ, GGUF까지의 양자화 옵션으로 모델을 더 적은 카드에 올릴 수 있습니다.
배포 전에 보안 모델을 읽 어야 합니다. vLLM 자체 보안 가이드에 따르면 --api-key는 /v1, /v2, /inference, /cohere 경로만 보호합니다. /invocations는 인증 없는 추론을 주고, /pause는 서버를 멈출 수 있으며, 다중 노드 구성에서 노드 간 트래픽은 기본적으로 암호화도 인증도 없습니다. GitHub에는 2026년에만 이 프로젝트의 권고 86건이 있으며, 대부분은 단일 요청으로 엔진이 죽는 문제이고, 6월에는 치명적인 OpenAI API 인증 우회가 있었습니다. 익명 사용 통계도 기본으로 수집됩니다.
또 다른 비용은 잦은 변화입니다. v0.32.0은 cascade attention을 없애고, Python 3.10을 빼고, max_tokens를 예약 예산에서 상한으로 바꿨으며, 어느 것이든 프로덕션 배포를 바꿀 수 있습니다. SGLang 저자들은 프리픽스가 많은 워크로드에서 다른 엔진 대비 최대 6.4배의 처리량을 보고하고, NVIDIA는 자사 GPU용으로 TensorRT-LLM을 먼저 튜닝하지만, 어느 주장도 자기 트래픽에 대한 벤치마크를 대신하지 못합니다. vLLM의 지속적인 이점은 폭입니다. 새 오픈 웨이트 모델은 대개 출시 때 vLLM 지원을 문서화하며, 주마다 따지면 그것이 처리량 몇 퍼센트보다 중요합니다.
제 역할을 하는 곳
오픈 웨이트 모델을 사내 OpenAI 호환 엔드포인트 뒤에 두는 플랫폼 엔지니어
클라이언트 코드를 다시 쓰지 않고 사내 도우미의 호스팅 API 대체하기
vllm serve가 /v1/chat/completions를 노출하므로 기존 OpenAI SDK 코드는 base URL만 바뀝니다. Lambda의 온디맨드 H100 PCIe 한 장은 시간당 $3.29로 계속 켜 두면 월 약 $2,400이며, 사용자에게 필요한 경로만 허용하는 리버스 프록시가 더해집니다.
대량 추출 작업에 토큰당 비용을 내는 SaaS 회사의 ML 리드
짧고 비슷한 수백만 요청의 추론 지출 줄이기
연속 배칭과 프리픽스 캐시가 시스템 프롬프트를 공유하는 많은 짧은 프롬프트에 걸쳐 GPU를 포화 상태로 유지합니다. 절감은 카드를 24시간 바쁘게 두는 데 달려 있으므로, API 계약을 해지하기 전에 실제 트래픽 일주일로 활용률을 재십시오.
많은 파인튜닝 체크포인트를 평가하는 연구 그룹
공유 GPU 클러스터에서 큰 오프라인 평가 배치 돌리기
오프라인 LLM 클래스는 서버 없이 데이터셋을 처리하고, 다중 LoRA 서빙으로 기반 모델 하나가 많은 어댑터를 실을 수 있습니다. 연구마다 vLLM 버전을 고정하십시오. v0.32.0은 max_tokens와 컨텍스트 창의 상호작용 방식을 바꿨습니다.
도입 전 확인할 점
- 설정
- Python 3.11에서 3.14와 연산 능력 7.5 이상(T4 이상)의 NVIDIA GPU가 있는 Linux에서 uv pip install vllm 후 vllm download-kernels를 실행합니다. AMD ROCm 휠은 Python 3.12용만 있고, Windows에는 WSL 이 필요합니다.
- 연동
- OpenAI 호환과 Anthropic Messages API, gRPC, 도구 호출과 추론 파서, xgrammar나 guidance를 통한 구조화된 출력, Prometheus 지표. Hugging Face 모델 ID를 바로 불러옵니다.
- 데이터와 개인정보
- 하드웨어와 모델 설정에 대한 익명 사용 통계를 기본으로 수집하며, VLLM_NO_USAGE_STATS=1이나 DO_NOT_TRACK=1로 멈춥니다. 프롬프트는 사용자의 서버에 남지만 API 키가 모든 경로를 다루지는 않으며, 2026년에 치명적 인증 우회를 포함해 GitHub 권고 86건이 공개됐습니다.
- 대규모 사용 시 비용
- 프로젝트의 유료 에디션은 없습니다. 비용은 GPU입니다. Lambda에서 H100 PCIe는 시간당 $3.29, 8x H100 SXM 노드는 GPU 시간당 $3.99, B200은 GPU 시간당 $6.69부터이며, 튜닝과 업그레이드를 위한 엔지니어링 시간이 더해집니다.
- 제한
- 열린 이슈와 풀 리퀘스트 9,343개. 약 2주마다의 마이너 릴리스가 플래그를 없애고 API 동작을 바꾸는 일이 흔함. 네트워크를 직접 격리하지 않으면 다중 노드 트래픽이 안전하지 않음.
좋은 점
- PagedAttention과 연속 배칭으로 GPU당 높은 처리량
- OpenAI 및 Anthropic 호환 API
- 200개 이상의 모델 아키텍처, 대개 출시 때 지원
- 하나의 코드베이스로 NVIDIA, AMD, Intel GPU
아쉬운 점
- --api-key가 여러 엔드포인트를 인증 없이 남 겨 리버스 프록시 필요
- 대부분의 마이너 릴리스에 호환성 깨짐
- Linux 전용, 네이티브 Windows 없음, 노트북에서는 어색함
추천 대상
GPU 서버에서 많은 동시 사용자에게 오픈 모델을 서빙하는 팀.
vLLM 대안
vLLM: 자주 묻는 질문
- vLLM, 쓸 만한 가치가 있습니까?
- 여전히 오픈 모델을 다중 사용자 API 뒤에 두는 엔진입니다. 단, 팀의 누군가가 업그레이드와 네트워크 노출을 책임져야 합니다. 평점은 5점 만점에 4.7점입니다.
- vLLM의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스입니다. 돌리는 GPU 비용을 냅니다.
- vLLM의 단점은 무엇입니까?
- --api-key가 여러 엔드포인트를 인증 없이 남겨 리버스 프록시 필요; 대부분의 마이너 릴리스에 호환성 깨짐; Linux 전용, 네이티브 Windows 없음, 노트북에서는 어색함.
- vLLM에 적합한 사람은 누구입니까?
- GPU 서버에서 많은 동시 사용자에게 오픈 모델을 서빙하는 팀.
- 팀이나 프로덕션 환경에서 vLLM의 비용은 얼마입니까?
- 프로젝트 의 유료 에디션은 없습니다. 비용은 GPU입니다. Lambda에서 H100 PCIe는 시간당 $3.29, 8x H100 SXM 노드는 GPU 시간당 $3.99, B200은 GPU 시간당 $6.69부터이며, 튜닝과 업그레이드를 위한 엔지니어링 시간이 더해집니다.
- vLLM에 회사 데이터를 맡겨도 안전합니까?
- 하드웨어와 모델 설정에 대한 익명 사용 통계를 기본으로 수집하며, VLLM_NO_USAGE_STATS=1이나 DO_NOT_TRACK=1로 멈춥니다. 프롬프트는 사용자의 서버에 남지만 API 키가 모든 경로를 다루지는 않으며, 2026년에 치명적 인증 우회를 포함해 GitHub 권고 86건이 공개됐습니다.
- vLLM의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SGLang, TensorRT-LLM 및 llama.cpp입니다.
답변 확인일: 2026년 10월 26일.
vLLM 개발사입니까? 이 평점을 사이트에 표시하십시오
