d3 (vLLM Semantic Router)의 개요
d3는 vLLM Semantic Router 프로젝트의 Decision 3.0에 속한 27B 멀티모달 판정 모델입니다. 2026년 10월 10일 Apache 2.0으로 Hugging Face에 공개되었으며, Qwen3.8-27B(0.46B 비전 인코더 포함 260억 9,000만(26.09 billion) 파라미터)에서 파인튜닝했습니다. 9일 뒤 팀은 개선된 27B 모델 d3-turbo를 내놓았고, 이 모델이 이제 decision.vllm-sr.ai의 무료 데모를 담당합니다. d3는 가중치로 계속 제공됩니다.
요청마다 텍스트나 JSON과 함께 여러 이미지나 비디오를 받아, 텍스트를 생성하지 않고 모든 선택지에 확률을 붙여 선택형, 예/아니오, 점수 질문에 답합니다. 이미지는 최대 1.6메가픽셀로, 비디오는 초당 2프레임으로 최대 32프레임까지 읽습니다.
vLLM main 브랜치는 2026년 10월 14일부터 d3를 그대로 로드해 Jev와 같은 요청 형식인 /v1/systemone 엔드포인트로 답합니다. 공식 FP8, NVFP4, int4(AWQ와 GPTQ) 빌드가 공개되어 있으며, 4비트 빌드는 52.2 GB 가중치를 약 16에서 17 GB로 줄입니다.
d3 (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
d3는 이미 추월당한 탄탄한 오픈 판정 모델입니다. 2026년 10월 22일 업데이트된 커뮤니티 Jev Decision Index 0.4.1에서 67.15로 229개 항목 중 11위이며, 동률 구간 안에서 형제 모델 d3-turbo의 67.31 바로 뒤에 있습니다. 공식 0.3.2 순위표를 기준으로 쓴 카드는 텍스트 66.3으로 1위라고 주장했지만, 인덱스와 프로젝트 모두 그 뒤로 바뀌었습니다. 같은 커뮤니티 순위표에서 Jev 1.14는 60.24입니다.
살펴볼 이유는 서빙입니다. vLLM은 변환 없이 저장소를 로드하고 Jev 방식의 /v1/systemone 엔드포인트를 제공합니다. 다만 지원은 10월 14일 main에 들어갔고, 10월 26일 현재 최신 릴리스인 v0.32.0의 변경 목록에는 없으므로 nightly 빌드가 필요합니다. 카드는 AMD Instinct MI325X 한 장에서 텍스트 질문 하나에 중앙값 54.4 ms, 이미지 포함 290 ms, 10초 비디오 포함 500 ms, Semantic Router를 통해 p99 1초 미만으로 초당 27건을 보고합니다. AMD 하드웨어에서 프로젝트가 직접 잰 수치이며, 카드 작성 시점에는 NVIDIA GPU에서 CUDA 경로를 돌려 보지 않았습니다.
판정 모델 중 비디오 입력은 여전히 드뭅니다. 카드는 내부 평가인 Perception Test 검증 세트에서 77.4를 보고하고, 커뮤니티 비전 순위표는 d3를 71.26으로 55개 중 9위에 둡니다. d3-turbo는 더 나아가 바운딩 박스, 비디오 추적, 131,072토큰 긴 컨텍스트 모드를 더하며, 질문이 몇 개든 입력을 한 번만 읽습니다.
운영 비용은 메모리입니다. BF16 레플리카는 MI325X에서 62에서 65 GiB로 정점을 찍었고, vLLM은 --max-model-len 32768로 시작하지 않으면 80 GB GPU에 들어가지 않는 262,144토큰 패스를 프로파일링합니다. int4 빌드는 가중치를 약 16 GB로 줄이고 d3 답변의 약 97%를 유지해 24 GB 카드로도 가능하지만, NVFP4 빌드는 Blackwell GPU가 필요하고 AWQ 빌드는 BF16보다 1.29배 느립니다. 같은 방법이 이제 d3-turbo에도 적용되므로, d3를 고정할 주된 이유는 이 체크포인트로 이미 검증한 파이프라인입니다.
제 역할을 하는 곳
80 GB GPU에서 vLLM을 운영하는 플랫폼 엔지니어
새 런타임 없이 LLM 게이트웨이 앞에 라우팅과 정책 검사 추가하기
d3나 FP8 빌드를 --max-model-len 32768로 서빙하고, 각 요청을 선택형과 예/아니오 질문과 함께 /v1/systemone으로 보냅니다. 카드는 질문 하나짜리 텍스트 판정에 54 ms, MI325X당 초당 27건을 보고합니다. 비용은 GPU이며, BF16 레플리카당 약 62에서 65 GiB입니다.
하루 50,000장의 상품 사진을 검사하는 마켓플레이스의 신뢰 및 안전 책임자
사진이 설명과 어긋나는 상품 표시하기
상품 텍스트와 사진을 요청 하나로 보내 예/아니오와 점수 질문을 합니다. 모든 답에 확률이 붙으므로 검토 임계값을 조정할 수 있습니다. GPU 한 장에서 이미지 요청당 290 ms이면 요청 50,000건은 배칭 전 기준 하루 약 GPU 4시간입니다.
자체 호스팅과 호스팅 판정 API를 저울질하는 엔지니어링 매니저
오픈 모델을 직접 돌릴 가치가 있는지 판단하기
d3에는 유료 엔드포인트가 없으므로 비용은 GPU와 온콜 시간이고, 무료 데모는 이제 SLA 없이 d3-turbo로 돌아갑니다. GPU 운영 경험이 없는 팀은 pplx-decider나 Jev 같은 호스팅 옵션에 인력 시간을 덜 씁니다.
도입 전 확인할 점
- 설정
- 버전을 고정한 Transformers 5.17.0을 설치하고 AutoModel과 trust_remote_code로 로드하거나, vLLM nightly를 설치하고 vllm serve vllm-sr/d3 --max-model-len 32768을 실행합니다. 캐시가 빈 상태의 첫 시작은 vLLM에서 215 s(길이 제한 시 139 s), AutoModel에서 40 s가 걸렸습니다.
- 연동
- vLLM /v1/systemone(nightly), vLLM Semantic Router Engine 모드(dev 채널), Transformers 파이프라인, 함께 제공되는 d3_server.py가 있습니다. 요청 형식은 Jev와 같습니다.
- 데이터와 개인정보
- Qwen3.8-27B에서 물려받은 Apache 2.0으로, 매출 상한 없이 상업적 이용이 허용됩니다. 자체 호스팅하면 입력이 사용자 하드웨어에 남으며, 무료 데모의 데이터 조건은 공개되지 않았습니다.
- 대규모 사용 시 비용
- 호스팅 가격은 없습니다. BF16 가중치는 52.2 GB이고 레플리카는 MI325X 한 장에서 62에서 65 GiB로 정점을 찍었습니다. NVFP4 빌드는 Blackwell GPU에 약 18 GB 여유가 필요하고, AWQ int4 빌드는 어떤 GPU든 약 18 GB에 지연 시간이 1.29배입니다.
- 제한
- 32프레임 비디오는 약 6K 토큰입니다. 최상위 instructions 필드는 400을 반환합니다. Engine 모드는 워커당 처리 중 요청 32개를 받고 나머지에는 503을 반환하며, 질문 8개짜리 이미지 요청은 테스트한 모든 부하에서 p99 1초를 넘겼습 니다.
좋은 점
- 커뮤니티 Decision Index 0.4.1에서 229개 중 11위(67.15)
- Jev 호환 엔드포인트로 기본 vLLM에서 로드
- 요청마다 여러 이미지와 비디오를 읽음
- 약 16 GB부터의 공식 FP8, NVFP4, int4 빌드
아쉬운 점
- 출시 9일 뒤 d3-turbo로 대체됨
- vLLM 지원은 아직 nightly 빌드에만 있음
- 속도 수치는 프로젝트가 AMD MI325X에서 직접 측정
- 작은 형제 모델은 점수가 훨씬 낮음: d3-flash 54.27, d3-mini 49.97
추천 대상
이미 vLLM을 운영하며 자체 GPU로 텍스트, 이미지, 비디오 검사를 할 오픈 판정 모델이 필요하고 이 체크포인트로 검증을 마친 팀.
d3 (vLLM Semantic Router) 대안
d3 (vLLM Semantic Router): 자주 묻는 질문
- d3 (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
- 강력하고 오픈이며 vLLM에서 서빙하기 쉽지만, 출시 9일 만에 자신의 d3-turbo가 나와 이제는 옮겨 가야 할 버전이 되었습니다. 평점은 5점 만점에 4.0점입니다.
- d3 (vLLM Semantic Router)의 가격은 얼마입니까?
- Apache 2.0으로 가중치는 무료입니다. 유료 호스팅 API는 없으며, 무료 공개 데모는 이제 d3-turbo로 돌아갑니다.
- d3 (vLLM Semantic Router)의 단점은 무엇입니까?
- 출시 9일 뒤 d3-turbo로 대체됨; vLLM 지원은 아직 nightly 빌드에만 있음; 속도 수치는 프로젝트가 AMD MI325X에서 직접 측정; 작은 형제 모델은 점수가 훨씬 낮음: d3-flash 54.27, d3-mini 49.97.
- d3 (vLLM Semantic Router)에 적합한 사람은 누구입니까?
- 이미 vLLM을 운영하며 자체 GPU로 텍스트, 이미지, 비디오 검사를 할 오픈 판정 모델이 필요하고 이 체크포인트로 검증을 마친 팀.
- 팀이나 프로덕션 환경에서 d3 (vLLM Semantic Router)의 비용은 얼마입니까?
- 호스팅 가격은 없습니다. BF16 가중치는 52.2 GB이고 레플리카는 MI325X 한 장에서 62에서 65 GiB로 정점을 찍었습니다. NVFP4 빌드는 Blackwell GPU에 약 18 GB 여유가 필요하고, AWQ int4 빌드는 어떤 GPU든 약 18 GB에 지연 시간이 1.29배입니다.
- d3 (vLLM Semantic Router)에 회사 데이터를 맡겨도 안전합니까?
- Qwen3.8-27B에서 물려받은 Apache 2.0으로, 매출 상한 없이 상업적 이용이 허용됩니다. 자체 호스팅하면 입력이 사용자 하드웨어에 남으며, 무료 데모의 데이터 조건은 공개되지 않았습니다.
- d3 (vLLM Semantic Router)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Perplexity Decider (pplx-decider), Jev, Clef, GLiNER2.5-Decide 및 Laya입니다.
답변 확인일: 2026년 10월 26일.
d3 (vLLM Semantic Router) 개발사입니까? 이 평점을 사이트에 표시하십시오
