O que é AnyJev?
O AnyJev, de pesquisadores da Nokia em Sunnyvale com coautores do Tencent Hunyuan e da Universidade Politécnica de Hong Kong, transforma um modelo de linguagem aberto comum em um modelo de decisão no estilo do Jev. Você fornece um estado e uma pergunta tipada (uma escolha, um sim/não ou uma nota) e ele devolve uma probabilidade sobre as opções, lida da distribuição de próximo token do modelo em um único prefill, em vez de extraída de texto gerado. Ele não tem vínculo com a TypeSafe AI, que faz o Jev.
Há dois caminhos. O Decider, sem treinamento, funciona com qualquer LM causal aberto via Hugging Face transformers, vLLM, SGLang ou llama.cpp; o nível L0 dele neutraliza o viés de posição girando as opções e desconta a preferência do modelo por certos rótulos, sem precisar de dados rotulados. Os modelos Tacit (de 1.7B a 9B, construídos sobre o Qwen) passam por autodestilação para dar em uma única passada as respostas a que chegam quando raciocinam, e podem enviar uma parcela limitada das decisões de baixa confiança para o raciocínio completo.
O método é descrito no AnyJev Technical Report (arXiv 2610.00831, 30 de setembro de 2026). O pacote pip anyjev chegou à 0.3.0 em 6 de outubro de 2026; o código é Apache-2.0 e os pesos Tacit herdam a licença Apache-2.0 dos modelos base.
AnyJev vale a pena?
A percepção útil do AnyJev é que os rótulos que um modelo aberto pontua já contêm um modelo de decisão razoável, desde que dois vieses sejam removidos. No Qwen3-8B, com a tarefa BANKING77 de 20 opções (300 itens de teste), a leitura L0 sem treinamento elevou a acurácia de 0.747 para 0.803, reduziu de 0.230 para 0.073 as respostas que mudam quando a ordem das opções é invertida e, o mais útil, elevou de 7.7% para 46.3% a parcela de decisões confiáveis o bastante para automatizar com erro de 5% ou menos. Esses são números dos autores, mas cada número do README é lido de um JSON versionado e verificado por um teste.
A evidência mais forte é externa. No Decision Index, da comunidade, cujos mantenedores rodam as partes privadas e medem a latência eles mesmos, o L0 sobre um Gemma-4-31B sem modificações marcou 60.22, quinto de 149 participantes em 12 de outubro de 2026, e o AnyJev Tacitus 31B, com fine-tuning, marcou 66.47, empatado em terceiro na edição 0.4.1, em 21 de outubro, com latência mediana de 95 ms em uma única RTX PRO 6000. O Tacit-9B, menor, chega a 0.823 no conjunto público JevBench, de 231 itens, em uma única passada, e a 0.887 quando 15.2% das decisões são escaladas para o raciocínio.
As concessões estão descritas com clareza na página de limitações. Uma decisão escalada custa segundos, não milissegundos, e acrescenta cerca de 567 tokens gerados no JevBench para o Tacit-9B. A leitura por letras lida com no máximo 26 opções, o Tacit no vLLM lê os rótulos das 20 maiores log-probabilidades e conta qualquer outro como zero, e nada foi testado dentro de um loop de agente. Uma correção recente mostra por que isso importa: o backend vLLM lia um rótulo ausente como -30, produzindo uma resposta errada com alta confiança e sem erro, até um usuário relatar.
Em relação ao próprio Jev, a questão é para onde vai o seu texto, não a acurácia. O Jev é hospedado e barato, mas toda entrada sai da sua rede; o AnyJev mantém as decisões em uma GPU que você controla, com um gateway que escuta em 127.0.0.1 e não tem autenticação própria. Em comparação com os pequenos modelos encoder da Laya, ele serve a equipes que já servem um modelo de 1.7B a 31B no vLLM. É um projeto de pesquisa jovem, com dois autores principais e 11 issues registradas até agora, então conte com mudanças na API.
Onde ele se destaca
Uma equipe de plataforma de suporte que roteia 50,000 tickets por dia entre 20 filas
Mandar cada ticket para uma fila e fechar automaticamente só os de alta confiança
Envolver o Qwen3-8B que você já serve no Decider em L0 e passar a lista de filas como pergunta de escolha; mandar para uma pessoa tudo o que ficar abaixo do seu limite de probabilidade. No BANKING77, essa leitura tornou seguras para automatizar 46.3% das decisões com erro de 5%, contra 7.7% com as pontuações brutas, sem rótulos.
A equipe de ML de um banco que não pode enviar texto de clientes para um modelo hospedado
Substituir chamadas a uma API de decisão hospedada por um equivalente interno
Servir o Gemma-4-31B em FP8 em uma GPU da classe RTX PRO 6000 e envolvê-lo no Decider em L0, a configuração que ficou em quinto de 149 no Decision Index. Coloque o gateway de 127.0.0.1 atrás do seu próprio proxy autenticado, já que ele não tem autenticação.
Um desenvolvedor de agentes com uma GPU de workstation
Controlar chamadas de ferramentas com verificações de sim/não que trazem probabilidades reais
Carregar o Tacit-4B com `adaptive=True` para que no máximo 20% de cada 1,000 decisões sejam escaladas para o raciocínio. No bev-decision, isso elevou a acurácia de 0.663 para 0.704 com 17.8% escaladas, a cerca de 187 tokens gerados extras por decisão.
Antes de decidir
- Configuração
- `pip install anyjev` no Python 3.10+, com os extras `[hf]`, `[client]` ou `[vllm]`; `Tacit.from_pretrained("morriszjm/Tacit-9B")` baixa os pesos do Hugging Face. O Tacit-9B e o Tacit-2B exigem transformers 5 ou mais recente, e `vllm serve` em Hopper exige o CUDA toolkit.
- Integrações
- Backends para Hugging Face transformers, vLLM (no mesmo processo ou um servidor em execução), SGLang e modelos GGUF do llama.cpp; MLX e Ollama estão no roadmap. `python -m anyjev.serve` expõe POST /v1/decide e GET /v1/stats.
- Dados e privacidade
- Tudo roda localmente; os pesos vêm do Hugging Face. O gateway escuta em 127.0.0.1 sem autenticação. O código é Apache-2.0, os pesos Tacit herdam o Apache-2.0 do Qwen, e os datasets mantêm as próprias licenças. Nenhum alerta de segurança publicado.
- Custo em escala
- Não há edição paga. O Tacit-9B roda em uma GPU com transformers; no Decision Index, o Tacitus 31B rodou em uma única RTX PRO 6000 com latência mediana de 95 ms e p95 de 1,000 ms. A escalada acrescenta centenas de tokens gerados a cada decisão escalada, então o limite define a conta.
- Limites
- No máximo 26 opções; a leitura em uma passada do Tacit não faz média sobre a ordem das opções; o prior por lote do L0 prejudica a acurácia quando um rótulo domina; ainda sem avaliação em loop de agente; 7 issues abertas e dois autores principais.
O que é bom
- Funciona sem treinamento com qualquer LLM aberto via transformers, vLLM, SGLang ou llama.cpp
- Remove o viés de ordem e de rótulo sem dados rotulados
- Participações no ranking medidas pelos mantenedores do Decision Index
- Limitações e todos os números do README documentados e testados
O que não é
- Decisões escaladas levam segundos e centenas de tokens extras
- No máximo 26 opções na leitura por letras
- O gateway HTTP não tem autenticação
- Ainda não avaliado dentro de loops de agente; base de colaboradores pequena
Ideal para
Engenheiros de ML que já servem um modelo aberto no vLLM e querem decisões calibradas de classificação e roteamento sem treinar um classificador separado.
Alternativas ao AnyJev
AnyJev: perguntas frequentes
- AnyJev vale a pena?
- Código de pesquisa cuidadoso que extrai probabilidades honestas do modelo aberto que você já roda, com resultados em ranking medidos pelos próprios mantenedores do ranking. Damos nota 3.9 de 5.
- Quanto custa AnyJev?
- Gratuito e de código aberto sob Apache-2.0, incluindo os pesos dos modelos Tacit. Você fornece a GPU.
- Quais são as desvantagens de AnyJev?
- Decisões escaladas levam segundos e centenas de tokens extras; no máximo 26 opções na leitura por letras; o gateway HTTP não tem autenticação; ainda não avaliado dentro de loops de agente; base de colaboradores pequena.
- Para quem AnyJev é indicado?
- Engenheiros de ML que já servem um modelo aberto no vLLM e querem decisões calibradas de classificação e roteamento sem treinar um classificador separado.
- Quanto custa AnyJev para uma equipe ou em produção?
- Não há edição paga. O Tacit-9B roda em uma GPU com transformers; no Decision Index, o Tacitus 31B rodou em uma única RTX PRO 6000 com latência mediana de 95 ms e p95 de 1,000 ms. A escalada acrescenta centenas de tokens gerados a cada decisão escalada, então o limite define a conta.
- AnyJev é seguro para dados da empresa?
- Tudo roda localmente; os pesos vêm do Hugging Face. O gateway escuta em 127.0.0.1 sem autenticação. O código é Apache-2.0, os pesos Tacit herdam o Apache-2.0 do Qwen, e os datasets mantêm as próprias licenças. Nenhum alerta de segurança publicado.
- Quais são as melhores alternativas ao AnyJev?
- As alternativas mais próximas que analisamos são Laya, vLLM e vLLM Semantic Router.
Respostas verificadas em 28 de out. de 2026.