AnyJev의 개요
AnyJev는 Sunnyvale의 Nokia 연구자들이 Tencent Hunyuan, 홍콩이공대학교의 공동 저자들과 함께 만든 것으로, 평범한 공개 언어 모델을 Jev 방식의 결정 모델로 바꿉니다. 상태와 타입이 정해진 질문(선택, 예/아니요, 점수)을 주면, 생성된 텍스트를 파싱하는 대신 한 번의 prefill로 모델의 다음 토큰 분포에서 읽어 낸 선택지별 확률을 돌려줍니다. Jev를 만드는 TypeSafe AI와는 관계가 없습니다.
경로는 두 가지입니다. 학습이 필요 없는 Decider는 Hugging Face transformers, vLLM, SGLang, llama.cpp를 통해 어떤 공개 인과 언어 모델에서도 작동합니다. L0 수준은 선택지를 돌려 가며 위치 편향을 평균으로 상쇄하고, 특정 라벨을 선호하는 모델의 경향을 나눠서 제거하며, 라벨 데이터가 필요 없습니다. Tacit 모델(1.7B~9B, Qwen 기반)은 추론할 때 도달하는 답을 한 번에 내도록 자기 증류되었고, 확신이 낮은 결정 중 상한을 둔 비율만큼을 완전한 추론으로 넘길 수 있습니다.
방법은 AnyJev Technical Report(arXiv 2610.00831, 2026년 9월 30일)에 설명되어 있습니다. pip 패키지 anyjev는 2026년 10월 6일 0.3.0에 이르렀습니다. 코드는 Apache-2.0이고, Tacit 가중치는 기반 모델의 Apache-2.0 라이선스를 따릅니다.
AnyJev, 쓸 만한 가치가 있습니까?
AnyJev의 유용한 통찰은 공개 모델이 매기는 라벨 점수에 두 가지 편향만 걷어 내면 이미 괜찮은 결정 모델이 들어 있다는 것입니다. Qwen3-8B로 20개 선택지의 BANKING77 과제(테스트 항목 300개)를 풀었을 때, 학습이 필요 없는 L0 판독은 정확도를 0.747에서 0.803으 로 올렸고, 선택지 순서를 뒤집으면 바뀌는 답을 0.230에서 0.073으로 줄였으며, 가장 유용하게는 오류율 5% 이하로 자동화할 만큼 확신 있는 결정의 비율을 7.7%에서 46.3%로 높였습니다. 저자들의 수치지만, README의 모든 숫자는 커밋된 JSON에서 읽어 오고 테스트로 검증됩니다.
더 강한 근거는 외부에 있습니다. 관리자들이 비공개 부분을 직접 실행하고 지연 시간을 측정하는 커뮤니티 Decision Index에서, 수정하지 않은 Gemma-4-31B에 L0를 적용한 결과는 60.22점으로 2026년 10월 12일 기준 149개 항목 중 5위였습니다. 미세 조정한 AnyJev Tacitus 31B는 10월 21일 0.4.1판에서 66.47점으로 공동 3위였고, RTX PRO 6000 한 장에서 지연 시간 중앙값은 95 ms였습니다. 더 작은 Tacit-9B는 공개 JevBench 세트 231개 항목에서 한 번에 0.823, 결정의 15.2%를 추론으로 넘기면 0.887에 이릅니다.
대가는 한계 페이지에 분명히 적혀 있습니다. 추론으로 넘긴 결정은 밀리초가 아니라 초 단위가 걸리며, Tacit-9B 기준 JevBench에서 생성 토큰이 약 567개 늘어납니다. 문자 판독은 선택지를 최대 26개까지만 다루고, vLLM의 Tacit은 상위 20개 로그 확률에서 라벨을 읽으며 나머지는 0으로 셉니다. 에이전트 루프 안에서는 아무것도 테스트되지 않았습니다. 최근의 수정 사례가 그 중요성을 보여 줍니다. vLLM 백엔드는 없는 라벨을 -30으로 읽어 오류 없이 확신에 찬 오답을 내곤 했고, 사용자가 보고하고서야 고쳐졌습니다.
Jev 자체와 비교할 때 쟁점은 정확도가 아니라 텍스트가 어디로 가느냐입니다. Jev는 호스팅형이고 저렴하지만 모든 입력이 네트워크 밖으로 나갑니다. AnyJev는 결정을 직접 관리하는 GPU에 두며, 게이트웨이는 127.0.0.1에서 수신하고 자체 인증이 없습니다. Laya의 소형 인코더 모델 과 비교하면, 이미 vLLM으로 1.7B~31B 모델을 서빙하는 팀에 맞습니다. 주 저자 2명에 지금까지 등록된 이슈가 11개인 젊은 연구 프로젝트이므로 API가 바뀔 것을 예상하십시오.
제 역할을 하는 곳
하루 50,000건의 티켓을 대기열 20개로 분배하는 지원 플랫폼 팀
티켓마다 대기열을 정하고 확신 있는 것만 자동 종료하기
이미 서빙 중인 Qwen3-8B를 L0 Decider로 감싸고 대기열 목록을 선택 질문으로 넘깁니다. 확률 기준치 아래인 것은 사람에게 보냅니다. BANKING77에서 이 판독은 라벨 없이 결정의 46.3%를 오류율 5%로 자동화할 수 있게 했으며, 원래 점수로는 7.7%였습니다.
고객 텍스트를 호스팅 모델에 보낼 수 없는 은행의 ML 팀
호스팅 결정 API 호출을 사내 대체물로 바꾸기
RTX PRO 6000급 GPU 한 장에서 Gemma-4-31B를 FP8로 서빙하고 L0 Decider로 감쌉니다. Decision Index에서 149개 중 5위를 한 구성입니다. 127.0.0.1 게이트웨이에는 인증이 없으니 자체 인증 프록시 뒤에 두십시오.
워크스테이션 GPU 한 장을 가진 에이전트 개발자
실제 확률이 붙은 예/아니요 검사로 도구 호출 통제하기
`adaptive=True`로 Tacit-4B를 로드해 결정 1,000건마다 최대 20%만 추론으로 넘어가게 합니다. bev-decision에서 이 설정은 17.8%를 넘기면서 정확도를 0.663에서 0.704로 올렸고, 결정당 생성 토큰은 약 187개 늘었습니다.
도입 전 확인할 점
- 설정
- Python 3.10+에서 `pip install anyjev`를 실행하며, 추가 옵션으로 `[hf]`, `[client]`, `[vllm]`이 있습니다. `Tacit.from_pretrained("morriszjm/Tacit-9B")`는 Hugging Face에서 가중치를 내려받습니다. Tacit-9B와 Tacit-2B는 transformers 5 이상이 필요하고, Hopper에서 `vllm serve`를 쓰려면 CUDA 툴킷이 필요합니다.
- 연동
- Hugging Face transformers, vLLM(프로세스 내 또는 실행 중인 서버), SGLang, llama.cpp GGUF 모델용 백엔드. MLX와 Ollama는 로드맵에 있습니다. `python -m anyjev.serve`는 POST /v1/decide와 GET /v1/stats를 노출합니다.
- 데이터와 개인정보
- 모든 것이 로컬에서 실행되며, 가중치는 Hugging Face에서 받습니다. 게이트웨이는 인증 없이 127.0.0.1에서 수신합니다. 코드는 Apache-2.0, Tacit 가중치는 Qwen의 Apache-2.0을 물려받고, 데이터셋은 각자의 라이선스를 유지합니다. 공개된 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 유료 버전은 없습니다. Tacit-9B는 transformers로 GPU 한 장에서 돌아갑니다. Decision Index에서 Tacitus 31B는 RTX PRO 6000 한 장으로 지연 시간 중앙값 95 ms, p95 1,000 ms를 기록했습니다. 추론으로 넘긴 결정마다 생성 토큰이 수백 개 늘어나므로 상한이 비용을 정합니다.
- 제한
- 선택지 최대 26개. Tacit의 단일 패스 판독은 선택지 순서에 대해 평균하지 않습니다. 한 라벨이 압도적이면 L0의 배치 사전 분포가 정확도를 떨어뜨립니다. 에이전트 루프 평가는 아직 없습니다. 열린 이슈 7개, 주 저자 2명.
좋은 점
- transformers, vLLM, SGLang, llama.cpp를 통해 어떤 공개 LLM에서도 학습 없이 작동
- 라벨 데이터 없이 순서 편향과 라벨 편향 제거
- Decision Index 관리자들이 직접 측정한 리더보드 항목
- 한계와 README의 모든 수치가 문서화되고 테스트됨
아쉬운 점
- 추론으로 넘긴 결정은 몇 초와 수백 개의 추가 토큰이 듦
- 문자 판독은 선택지 최대 26개
- HTTP 게이트웨이에 인증 없음
- 에이전트 루프 안에서 아직 평가되지 않았고 기여자층이 얇음
추천 대상
이미 vLLM으로 공개 모델을 서빙하며, 별도 분류기를 학습하지 않고 보정된 분류와 라우팅 결정을 원하는 ML 엔지니어.
AnyJev 대안
AnyJev: 자주 묻는 질문
- AnyJev, 쓸 만한 가치가 있습니까?
- 이미 돌리고 있는 공개 모델에서 정직한 확률을 뽑아내는 신중한 연구 코드이며, 리더보드 결과는 리더보드 관리자들이 직접 측정했습니다. 평점은 5점 만점에 3.9점입니다.
- AnyJev의 가격은 얼마입니까?
- Tacit 모델 가중치를 포함해 Apache-2.0 무료 오픈소스입니다. GPU는 직접 준비합니다.
- AnyJev의 단점은 무엇입니까?
- 추론으로 넘긴 결정은 몇 초와 수백 개의 추가 토큰이 듦; 문자 판독은 선택지 최대 26개; HTTP 게이트웨이에 인증 없음; 에이전트 루프 안에서 아직 평가되지 않았고 기여자층이 얇음.
- AnyJev에 적합한 사람은 누구입니까?
- 이미 vLLM으로 공개 모델을 서빙하며, 별도 분류기를 학습하지 않고 보정된 분류와 라우팅 결정을 원하는 ML 엔지니어.
- 팀이나 프로덕션 환경에서 AnyJev의 비용은 얼마입니까?
- 유료 버전은 없습니다. Tacit-9B는 transformers로 GPU 한 장에서 돌아갑니다. Decision Index에서 Tacitus 31B는 RTX PRO 6000 한 장으로 지연 시간 중앙값 95 ms, p95 1,000 ms를 기록했습니다. 추론으로 넘긴 결정마다 생성 토큰이 수백 개 늘어나므로 상한이 비용을 정합니다.
- AnyJev에 회사 데이터를 맡겨도 안전합니까?
- 모든 것이 로컬에서 실행되며, 가중치는 Hugging Face에서 받습니다. 게이트웨이는 인증 없이 127.0.0.1에서 수신합니다. 코드는 Apache-2.0, Tacit 가중치는 Qwen의 Apache-2.0을 물려받고, 데이터셋은 각자의 라이선스를 유지합니다. 공개된 보안 권고는 없습니다.
- AnyJev의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Laya, vLLM 및 vLLM Semantic Router입니다.
답변 확인일: 2026년 10월 28일.