Decision-2.0-Nox-4B (vLLM Semantic Router)의 개요
Decision-2.0-Nox-4B는 vLLM Semantic Router 프로젝트의 판정 모델군인 Decision 2.0의 4B 텍스트 모델로, 2026년 9월 29일 Hugging Face에 공개되었습니다. Jev처럼 텍스트를 생성하지 않습니다. 입력(텍스트 또는 JSON)과 이름이 붙은 질문을 보내면 선택형, 예/아니오, 점수형 질문에 한 번의 순전파로 함께 답하고, 모든 선택지에 확률을 붙여 줍니다.
Qwen3.5-4B-Base를 미세 조정한 모델로 파라미터는 42억 1,000만(4.21 billion) 개, 컨텍스트는 16,384 토큰이며 가중치는 Apache 2.0입니다. 텍스트만 읽습니다. 모델 카드에는 GPU 한 장에서 단일 질문 요청당 중앙값 12.9 ms로 나와 있습니다.
열흘 뒤 같은 팀은 Decision 3.0을 공개했으며, 그중 4.5B 모델인 d3-mini도 Qwen3.5-4B를 기반으로 합니다. vLLM Semantic Router의 더 큰 d3와 d3-turbo는 별도로 리뷰합니다.
Decision-2.0-Nox-4B (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
Decision-2.0-Nox-4B는 탄탄한 소형 모델이지만 후속 모델이 나오기 직전에 출시되었습니다. 10월 29일자 데이터 기준 커뮤니티 Jev Decision Index 0.4.1에서 40.75점으로 247개 항목 중 134위입니다. 가장 비슷한 4B 모델 두 개인 JPT-4B(39.56)와 Decider 4B(36.3)를 앞서며, 같은 크기에서 선두라는 모델 카드의 주장과도 맞습니다. 하지만 같은 순위표에는 같은 Qwen3.5-4B 기반의 4.5B 모델인 vLLM Semantic Router 자체의 d3-mini가 49.97점, Perplexity의 pplx-decider-flash-v1.2가 54.29점으로 올라 있습니다.
모델 카드의 수치는 자체 보고이지만 신중하게 제시되어 있습니다. JevArena에서 63.6점으로 Decider 4B의 61.9점과 "통계적으로 같은 수준"이라고 설명하고, 사람이 라벨을 붙인 15개 과제에서는 52.3점으로 Decider 4B(55.5)가 앞선다고 밝힙니다. 팀이 0.2.1 키트로 직접 돌린 Jev Decision Index에서는 43.8점입니다. 팀은 학습 데이터를 지수의 테스트 항목과 한 행씩 대조했다고 밝혔는데, 이는 대부분의 판정 모델 카드가 내세우는 것보다 많은 조치입니다.
가장 큰 장점은 보정입니다. 커뮤니티 지수에서 측정한 기대 보정 오차는 0.030으로 Jev 1.13(0.078), d3-mini(0.056), Decider 4B(0.084)보다 낮습니다. 확률이 실제로 맞히는 빈도를 잘 따르므로, 자기 데이터로 정한 신뢰도 임계값이 그대로 유지될 것입니다. 속도는 모델 카드가 시사하는 만큼 인상적이지 않습니다. 지수는 RTX PRO 6000에서 중앙값 33.5 ms를 기록했으며, Decider 4B는 12.6 ms였습니다.
텍스트만 읽으며, d3-mini나 pplx-decider-flash와 달리 이미지 입력 경로가 없습니다. 관대한 라이선스로 텍스트 전용 배포를 새로 한다면 비슷한 크기에서 d3-mini의 점수가 더 높습니다. 정확도 마지막 9점보다 보정된 확률이 더 중요한 곳에서는 Nox도 여전히 합리적인 선택입니다.
제 역할을 하는 곳
직원 50명 규모 전자상거래 회사의 플랫폼 엔지니어
자사 GPU에서 고객 문의 이메일을 반품, 결제, 기술 팀으로 분배하기
호출 한 번으로 분배 선택, 영수증 여부 예/아니오, 긴급도 점수에 함께 답합니다. 보정 오차가 낮아 "0.9 이상이면 자동 분배, 아니면 사람에게 전달" 같은 규칙이 설정한 대로 작동합니다. Apache 2.0이라 라이선스 검토도 필요 없습니다.
RAG 파이프라인의 LLM 심사 모델을 대체하려는 ML 엔지니어
검색된 단락마다 질문에 답하는지 점수 매기기
단락마다 예/아니오 질문 하나를 넣으면 텍스트를 생성하지 않고 GPU 한 장에서 확률을 돌려줍니다. 먼저 자체 라벨 데이터로 정확도를 측정하십시오. 커뮤니티 지수에서 전체 영역 정답률은 약 66%, 지식 질문에서는 58%입니다.
도입 전 확인할 점
- 설정
- pip로 transformers 5.17 이상과 torch, safetensors를 설치하고 trust_remote_code=True로 불러와 model.system_one(state, questions)를 호출합니다. transformers의 "decision" 파이프라인도 등록되어 있습니다.
- 연동
- 질문은 Jev, pplx-decider, Liquid의 d1과 공유하는 System One 스키마(noul, choice, score)를 쓰므로, 그 모델들용으로 만든 테스트 도구를 그대로 쓸 수 있습니다. vLLM Semantic Router 프로젝트의 판정 모델 계열입니다.
- 데이터와 개인정보
- 직접 호스팅만 가능하므로 입력이 자기 하드웨어에 머뭅니다. Apache 2.0은 매출 상한 없이 상업적 사용을 허용합니다.
- 대규모 사용 시 비용
- API 가격은 없습니다. 42억 1,000만(4.21 billion) 파라미터라 GPU 한 장에서 돌아가며, 커뮤니티 지수는 RTX PRO 6000 한 장에서 중앙값 33.5 ms로 실행했습니다. 입력 하나에 대한 여러 질문이 한 번의 순전파를 공유합니다.
- 제한
- 16,384 토큰 컨텍스트, 텍스트와 JSON만 지원, 답변 유형은 세 가지(숫자, 박스, 추출 없음). 커뮤니티 지수에서 지식(정답률 58%)과 예술(50%) 영역이 가장 약합니다.
좋은 점
- 커뮤니티 지수의 기대 보정 오차 0.030
- 매출 제한 없 는 Apache 2.0
- 커뮤니티 지수에서 Decider 4B와 JPT-4B보다 앞섬
- 모델 카드에 따르면 학습 데이터를 지수 테스트 항목과 대조함
아쉬운 점
- 같은 팀의 d3-mini(49.97)보다 9점 뒤처짐
- 텍스트만 지원, 이미지 불가
- 커뮤니티 측정에서 중앙값 33.5 ms로 모델 카드의 12.9 ms와 다름
- 호스팅 API 없음
추천 대상
확률을 임계값으로 믿고 쓸 수 있는, 직접 호스팅하는 관대한 라이선스의 소형 텍스트 분류기가 필요한 엔지니어.
Decision-2.0-Nox-4B (vLLM Semantic Router) 대안
Decision-2.0-Nox-4B (vLLM Semantic Router): 자주 묻는 질문
- Decision-2.0-Nox-4B (vLLM Semantic Router), 쓸 만한 가치가 있습니까?
- 수치가 정직하고 보정이 좋으며 Apache 2.0입니다. 그러나 커뮤니티 지수 40.75점으로 같은 팀의 d3-mini보다 9점 뒤처집니다. 평점은 5점 만점에 3.4점입니다.
- Decision-2.0-Nox-4B (vLLM Semantic Router)의 가격은 얼마입니까?
- 가중치는 Apache 2.0으로 무료. 이 모델용 호스팅 엔드포인트는 없습니다.
- Decision-2.0-Nox-4B (vLLM Semantic Router)의 단점은 무엇입니까?
- 같은 팀의 d3-mini(49.97)보다 9점 뒤처짐; 텍스트만 지원, 이미지 불가; 커뮤니티 측정에서 중앙값 33.5 ms로 모델 카드의 12.9 ms와 다름; 호스팅 API 없음.
- Decision-2.0-Nox-4B (vLLM Semantic Router)에 적합한 사람은 누구입니까?
- 확률을 임계값으로 믿고 쓸 수 있는, 직접 호스팅하는 관대한 라이선스의 소형 텍스트 분류기가 필요한 엔지니어.
- 팀이나 프로덕션 환경에서 Decision-2.0-Nox-4B (vLLM Semantic Router)의 비용은 얼마입니까?
- API 가격은 없습니다. 42억 1,000만(4.21 billion) 파라미터라 GPU 한 장에서 돌아가며, 커뮤니티 지수는 RTX PRO 6000 한 장에서 중앙값 33.5 ms로 실행했습니다. 입력 하나에 대한 여러 질문이 한 번의 순전파를 공유합니다.
- Decision-2.0-Nox-4B (vLLM Semantic Router)에 회사 데이터를 맡겨도 안전합니까?
- 직접 호스팅만 가능하므로 입력이 자기 하드웨어에 머뭅니다. Apache 2.0은 매출 상한 없이 상업적 사용을 허용합니다.
- Decision-2.0-Nox-4B (vLLM Semantic Router)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Perplexity Decider (pplx-decider), d3-turbo (vLLM Semantic Router), d3 (vLLM Semantic Router), LFM3 및 Jev입니다.
답변 확인일: 2026년 10월 31일.