d3-turbo (vLLM Semantic Router)의 개요
d3-turbo는 vLLM Semantic Router 프로젝트의 Decision 3.0에 속한 개선된 27B 멀티모달 판정 모델입니다. d3보다 9일 늦은 2026년 10월 19일 Apache 2.0으로 Hugging Face에 공개되었으며, Qwen3.8-27B(0.46B 비전 인코더 포함 260억 9,000만(26.09 billion) 파라미터)에서 파인튜닝한 별도 가중치입니다. 이제 decision.vllm-sr.ai의 무료 API를 담당하며, 그곳에서 vllm-sr/d3라는 이름은 이 모델의 별칭입니다.
d3처럼 텍스트를 생성하지 않고 모든 선택지에 확률을 붙여 선택형, 예/아니오, 점수 질문에 답합니다. 여기에 Box 답변(이미지 속 또는 비디오의 특정 순간에 물체가 어디 있는지와 신뢰도), 비디오 전체 추적, 질문과 선택지 안에 넣는 이미지, 기본 32,768토큰 대신 질문당 131,072토큰을 쓰는 긴 컨텍스트 모드가 추가되었습니다.
가장 큰 아키텍처 변화는 요청마다 입력을 한 번만 읽고 그 한 번의 읽기로 모든 질문에 답한다는 점입니다. 확인 시점에 기본 vLLM 지원과 양자화 빌드는 아직 나오지 않았으며, Transformers나 Semantic Router 자체의 Engine 모드로 돌아갑니다.
d3-turbo (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
가장 큰 개선은 순위 도약이 아니라 아키텍처입니다. 2026년 10월 22일 업데이트된 커뮤니티 Jev Decision Index에서 d3-turbo v1.1은 균형 기량 67.31로 229개 항목 중 10위이며, d3의 67.15를 근소하게 넘습니다. 공개 세트 점수는 더 분명해서, 인덱스 자체 재채점 후 d3의 65.45에 비해 71.62입니다. 카드의 텍스트 70.2, 비전 72.9 추정치는 팀의 것이지 공식 순위표 결과가 아닙니다.
경제성을 바꾸는 것은 한 번만 읽는다는 점입니다. 카드에 따르면 AMD Instinct MI325X 한 장에서 사진 한 장에 대한 질문 64개가 d3-turbo로 867 ms, 9B d3-flash로 8.26 s 걸리고, 질문 255개는 2.12 s 대 32.94 s입니다. 질문이 하나면 순서가 뒤집힙니다. d3-flash는 154 ms, d3-turbo는 302 ms에 답합니다. 업로드마다 정책 질문 십여 개를 묻는 검수 파이프라인에서는 이득이고, 프롬프트마다 질문 하나를 묻는 라우터에는 더 작은 형제 모델이 낫습니다.
Box와 추적 답변은 분류를 넘어서게 합니다. 팀은 자체 Box 세트에서 겹침 임계값 0.5 기준 정확도 0.90, 추적 클립에서 존재 F1 0.97을 보고합니다. 모든 Box 질문은 물체가 없어도 정확히 박스 하나를 반환하므로, 카드는 예/아니오 질문과 함께 쓰라고 권합니다. 이를 바로 경보 규칙에 연결하는 사람은 이 세부 사항에 걸려 넘어질 것입니다.
서빙은 d3보다 덜 성숙했습니다. d3-turbo의 어텐션 패턴을 vLLM에 추가하는 풀 리퀘스트(#62584)는 확인 날짜에 아직 열려 있었고, FP8이나 4비트 빌드도 아직 없으며(프로젝트는 NVFP4 패키지를 열린 이슈로 관리합니다), 문서화된 Engine 경로는 라우터 dev 채널의 AMD ROCm을 대상으로 합니다. BF16 파라미터 260억 9,000만(26.09 billion) 개라 가중치가 약 52 GB이므로, 양자화 빌드가 나오기 전까지 24 GB 카드 한 장으로는 안 됩니다.
제 역할을 하는 곳
하루 50,000장의 상품 사진을 정책 규칙 20개로 검사하는 마켓플레이스의 신뢰 및 안전 책임자
모델 호출 20회 비용 없이 모든 사진에 모든 규칙 적용하기
사진마다 규칙 20개를 예/아니오 질문으로 묶어 요청 하나로 보냅니다. 카드 수치로 MI325X 한 장에서 질문 16개가 426 ms이므로, 상품 50,000개는 하루 약 GPU 6시간입니다. 규칙별 확률 덕분에 검토자가 임계값을 따로 정할 수 있습니다.
리테일 분석 기업의 컴퓨터 비전 엔지니어
매장 카메라 클립에 제품이 나오는지, 어디에 나오는지 찾기
각 클립에 대해 제품의 존재를 묻는 예/아니오 질문과 초당 한두 번 갱신하는 추적 질문을 함께 합니다. 무료 API는 최대 60초짜리 비디오 하나를 받으므로, 실서비스 물량에는 52 GB BF16 가중치를 자체 호스팅해야 합니다.
무료 API 뒤에서 이미 d3를 운영하는 엔지니어링 매니저
코드를 바꾸지 않았는데 답이 달라진 이유 파악하기
무료 API의 vllm-sr/d3 이름은 이제 d3-turbo를 가리키므로, 10월 19일 d3-turbo 출시 전에 기록한 답과 다를 수 있습니다. 재현성이 중요하면 자체 호스팅 체크포인트를 고정하고, 모델 개선을 위해 요청을 로깅하는 무료 API에는 민감한 데이터를 보내지 마십시오.
도입 전 확인할 점
- 설정
- Transformers 5.17.0을 설치하고 AutoModel과 trust_remote_code로 로드하거나, 라우터 dev 채널에서 vllm-sr serve vllm-sr/d3-turbo --engine --platform rocm을 실행합니다. 카드는 Engine 첫 시작에 약 2.5분, 이후 35초가 걸린다고 보고합니다.
- 연동
- Jev와 공유하는 System One 요청 형식을 무료 API와 Engine의 /v1/systemone에서 쓰고, Transformers system_one() 메서드와 Hugging Face Space가 있습니다. 기본 vLLM 지원은 열린 풀 리퀘스트 상태입니다.
- 데이터와 개인정보
- Qwen3.8-27B에서 물려받은 Apache 2.0으로, 매출 상한 없이 상업적 이용이 허용됩니다. 자체 호스팅하면 입력이 사용자 하드웨어에 남습니다. 무료 API는 모델 개선을 위해 요청과 응답이 로깅될 수 있다고 밝힙니다.
- 대규모 사용 시 비용
- 호스팅 가격은 없습니다. BF16 가중치가 약 52 GB이므로 레플리카마다 80 GB급 GPU 한 장이 필요합니다. 카드는 최대 메모리를 공개하지 않지만, 같은 크기의 d3는 62에서 65 GiB에서 정점을 찍었습니다. 양자화 빌드는 아직 없습니다.
- 제한
- 기본은 질문당 32,768토큰, long_context로 131,072토큰입니다. 너무 긴 질문은 잘리지 않고 max_length_exceeded를 반환합니다. 무료 API는 요청당 질문 64개, 16 MiB 이미지 16장, 60초 비디오 하나, 35초 타임아웃으로 제한됩니다.
좋은 점
- 커뮤니티 Decision Index 229개 중 10위(67.31)
- 한 번 읽어 최대 255개 질문에 답함: MI325X 한 장에서 255개에 2.12 s
- 신뢰도가 붙은 Box 및 비디오 추적 답변
- Apache 2.0이며 시험해 볼 무료 공개 API가 있음
아쉬운 점
- 질문 하나짜리 요청에서는 d3-flash보다 느림
- 아직 기본 vLLM 미지원, 양자화 빌드 없음
- 무료 API는 요청을 로깅하고 SLA가 없음
- 대부분의 수치는 팀이 AMD 하드웨어에서 직접 측정
추천 대상
GPU를 갖추고 같은 텍스트, 이미지, 비디오에 예/아니오, 선택형, 위치 질문을 많이 하며 오픈 웨이트를 원하는 팀.
d3-turbo (vLLM Semantic Router) 대안
d3-turbo (vLLM Semantic Router): 자주 묻는 질문
- d3-turbo (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
- d3-turbo는 입력 하나에 질문이 많을 때 제값을 하고, 질문이 하나뿐일 때는 d3-flash보다 비용이 더 듭니다. 평점은 5점 만점에 4.1점입니다.
- d3-turbo (vLLM Semantic Router)의 가격은 얼마입니까?
- Apache 2.0으로 가중치는 무료입니다. 유료 호스팅 API는 없으며, 로깅이 있고 SLA가 없는 무료 공개 API가 있습니다.
- d3-turbo (vLLM Semantic Router)의 단점은 무엇입니 까?
- 질문 하나짜리 요청에서는 d3-flash보다 느림; 아직 기본 vLLM 미지원, 양자화 빌드 없음; 무료 API는 요청을 로깅하고 SLA가 없음; 대부분의 수치는 팀이 AMD 하드웨어에서 직접 측정.
- d3-turbo (vLLM Semantic Router)에 적합한 사람은 누구입니까?
- GPU를 갖추고 같은 텍스트, 이미지, 비디오에 예/아니오, 선택형, 위치 질문을 많이 하며 오픈 웨이트를 원하는 팀.
- 팀이나 프로덕션 환경에서 d3-turbo (vLLM Semantic Router)의 비용은 얼마입니까?
- 호스팅 가격은 없습니다. BF16 가중치가 약 52 GB이므로 레플리카마다 80 GB급 GPU 한 장이 필요합니다. 카드는 최대 메모리를 공개하지 않지만, 같은 크기의 d3는 62에서 65 GiB에서 정점을 찍었습니다. 양자화 빌드는 아직 없습니다.
- d3-turbo (vLLM Semantic Router)에 회사 데이터를 맡겨도 안전합니까?
- Qwen3.8-27B에서 물려받은 Apache 2.0으로, 매출 상한 없이 상업적 이용이 허용됩니다. 자체 호스팅하면 입력이 사용자 하드웨어에 남습니다. 무료 API는 모델 개선을 위해 요청과 응답이 로깅될 수 있다고 밝힙니다.
- d3-turbo (vLLM Semantic Router)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 d3 (vLLM Semantic Router), Perplexity Decider (pplx-decider), Jev, Clef 및 GLiNER2.5-Decide입니다.
답변 확인일: 2026년 10월 23일.
d3-turbo (vLLM Semantic Router) 개발사입니까? 이 평점을 사이트에 표시하십시오
