¿Qué es AnyJev?
AnyJev, de investigadores de Nokia en Sunnyvale con coautores de Tencent Hunyuan y la Universidad Politécnica de Hong Kong, convierte un modelo de lenguaje abierto corriente en un modelo de decisión al estilo de Jev. Le das un estado y una pregunta tipada (una elección, un sí/no o una puntuación) y devuelve una probabilidad sobre las opciones, leída de la distribución del siguiente token del modelo en un solo prefill en lugar de extraída del texto generado. No tiene relación con TypeSafe AI, la empresa que hace Jev.
Hay dos vías. El Decider, que no requiere entrenamiento, funciona con cualquier LM causal abierto mediante Hugging Face transformers, vLLM, SGLang o llama.cpp; su nivel L0 compensa el sesgo de posición rotando las opciones y descuenta la preferencia del modelo por ciertas etiquetas, sin necesidad de datos etiquetados. Los modelos Tacit (de 1,7B a 9B, basados en Qwen) están autodestilados para dar en una sola pasada las respuestas a las que llegan razonando, y pueden enviar una proporción limitada de las decisiones de baja confianza a un razonamiento completo.
El método se describe en el AnyJev Technical Report (arXiv 2610.00831, 30 de septiembre de 2026). El paquete pip anyjev llegó a la 0.3.0 el 6 de octubre de 2026; el código es Apache-2.0 y los pesos de Tacit llevan la licencia Apache-2.0 de sus modelos base.
¿Merece la pena AnyJev?
La idea útil de AnyJev es que las etiquetas que puntúa un modelo abierto ya contienen un modelo de decisión aceptable, una vez eliminados dos sesgos. Con Qwen3-8B en la tarea BANKING77 de 20 opciones (300 elementos de prueba), la lectura L0 sin entrenamiento subió la precisión de 0,747 a 0,803, redujo las respuestas que cambian al invertir el orden de las opciones de 0,230 a 0,073 y, lo más útil, elevó la proporción de decisiones con confianza suficiente para automatizarlas con un 5% de error o menos del 7,7% al 46,3%. Son cifras de los autores, pero cada número del README se lee de un JSON incluido en el repositorio y lo comprueba una prueba.
La evidencia más sólida es externa. En el Decision Index de la comunidad, cuyos responsables ejecutan las partes privadas y miden ellos mismos la latencia, L0 sobre un Gemma-4-31B sin modificar obtuvo 60,22, quinto de 149 participantes el 12 de octubre de 2026, y el AnyJev Tacitus 31B ajustado obtuvo 66,47, empatado en tercer lugar en la edición 0.4.1 el 21 de octubre, con una latencia mediana de 95 ms en una sola RTX PRO 6000. El más pequeño, Tacit-9B, llega a 0,823 en el conjunto público JevBench de 231 elementos en una sola pasada y a 0,887 cuando el 15,2% de las decisiones pasan a razonamiento.
Las contrapartidas se exponen con claridad en la página de limitaciones. Una decisión escalada cuesta segundos, no milisegundos, y añade unos 567 tokens generados en JevBench para Tacit-9B. La lectura por letras admite como mucho 26 opciones, Tacit en vLLM lee las etiquetas de las 20 log-probabilidades más altas y cuenta cualquier otra como cero, y nada se ha probado dentro de un bucle de agente. Una corrección reciente muestra por qué importa: el backend de vLLM leía una etiqueta ausente como -30, lo que producía una respuesta equivocada y segura sin ningún error, hasta que un usuario lo comunicó.
Frente al propio Jev, el argumento tiene que ver con adónde va tu texto más que con la precisión. Jev está alojado y es barato, pero cada entrada sale de tu red; AnyJev mantiene las decisiones en una GPU que controlas, con una pasarela que escucha en 127.0.0.1 y no tiene autenticación propia. Comparado con los modelos codificadores pequeños de Laya, encaja con equipos que ya sirven un modelo de 1,7B a 31B en vLLM. Es un proyecto de investigación joven, con dos autores principales y 11 incidencias abiertas hasta ahora, así que cabe esperar que la API cambie.
Dónde se gana su sitio
Un equipo de plataforma de soporte que reparte 50.000 tickets al día entre 20 colas
Enviar cada ticket a una cola y cerrar automáticamente solo aquellos en los que hay confianza
Envolver el Qwen3-8B que ya se sirve en el Decider a nivel L0 y pasar la lista de colas como pregunta de elección; todo lo que quede por debajo del umbral de probabilidad va a una persona. En BANKING77 esa lectura hizo que el 46,3% de las decisiones fuera seguro de automatizar con un 5% de error, frente al 7,7% con las puntuaciones en bruto, sin etiquetas.
El equipo de ML de un banco que no puede enviar texto de clientes a un modelo alojado
Sustituir las llamadas a una API de decisión alojada por un equivalente interno
Servir Gemma-4-31B en FP8 en una GPU de la clase RTX PRO 6000 y envolverlo con el Decider a nivel L0, la configuración que quedó quinta de 149 en el Decision Index. Poner la pasarela de 127.0.0.1 detrás de un proxy propio con autenticación, porque no la tiene.
Un desarrollador de agentes con una GPU de estación de trabajo
Filtrar las llamadas a herramientas con comprobaciones de sí/no que lleven probabilidades reales
Cargar Tacit-4B con `adaptive=True` para que como mucho el 20% de cada 1.000 decisiones pase a razonamiento. En bev-decision eso subió la precisión de 0,663 a 0,704 con un 17,8% escalado, a unos 187 tokens generados extra por decisión.
Antes de decidirte
- Puesta en marcha
- `pip install anyjev` en Python 3.10+, con los extras `[hf]`, `[client]` o `[vllm]`; `Tacit.from_pretrained("morriszjm/Tacit-9B")` descarga los pesos de Hugging Face. Tacit-9B y Tacit-2B necesitan transformers 5 o posterior, y `vllm serve` en Hopper necesita el CUDA toolkit.
- Integraciones
- Backends para Hugging Face transformers, vLLM (en el mismo proceso o como servidor en marcha), SGLang y modelos GGUF de llama.cpp; MLX y Ollama están en la hoja de ruta. `python -m anyjev.serve` expone POST /v1/decide y GET /v1/stats.
- Datos y privacidad
- Todo se ejecuta en local; los pesos vienen de Hugging Face. La pasarela escucha en 127.0.0.1 sin autenticación. El código es Apache-2.0, los pesos de Tacit heredan Apache-2.0 de Qwen y los datasets conservan sus propias licencias. No hay avisos de seguridad publicados.
- Coste a escala
- No hay edición de pago. Tacit-9B funciona en una GPU con transformers; en el Decision Index, Tacitus 31B se ejecutó en una sola RTX PRO 6000 con una latencia mediana de 95 ms y un p95 de 1.000 ms. El escalado añade cientos de tokens generados a cada decisión escalada, así que el límite marca la factura.
- Límites
- Como mucho 26 opciones; la lectura en una sola pasada de Tacit no promedia el orden de las opciones; el prior por lotes de L0 perjudica la precisión cuando domina una etiqueta; todavía sin evaluación en bucles de agente; 7 incidencias abiertas y dos autores principales.
Lo bueno
- Funciona sin entrenamiento con cualquier LLM abierto mediante transformers, vLLM, SGLang o llama.cpp
- Elimina el sesgo de orden y de etiquetas sin datos etiquetados
- Participaciones en la clasificación medidas por los responsables del Decision Index
- Las limitaciones y cada cifra del README están documentadas y probadas
Lo malo
- Las decisiones escaladas tardan segundos y cuestan cientos de tokens extra
- Como mucho 26 opciones en la lectura por letras
- La pasarela HTTP no tiene autenticación
- Aún sin evaluar dentro de bucles de agente; pocos colaboradores
Ideal para
Ingenieros de ML que ya sirven un modelo abierto en vLLM y quieren decisiones de clasificación y enrutamiento calibradas sin entrenar un clasificador aparte.
Alternativas a AnyJev
AnyJev: preguntas frecuentes
- ¿Merece la pena AnyJev?
- Código de investigación cuidadoso que saca probabilidades honestas del modelo abierto que ya ejecutas, con resultados en una clasificación que midieron los propios responsables de la clasificación. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta AnyJev?
- Gratuito y de código abierto con Apache-2.0, incluidos los pesos de los modelos Tacit. Tú pones la GPU.
- ¿Qué inconvenientes tiene AnyJev?
- Las decisiones escaladas tardan segundos y cuestan cientos de tokens extra; como mucho 26 opciones en la lectura por letras; la pasarela HTTP no tiene autenticación; aún sin evaluar dentro de bucles de agente; pocos colaboradores.
- ¿Para quién es AnyJev?
- Ingenieros de ML que ya sirven un modelo abierto en vLLM y quieren decisiones de clasificación y enrutamiento calibradas sin entrenar un clasificador aparte.
- ¿Cuánto cuesta AnyJev para un equipo o en producción?
- No hay edición de pago. Tacit-9B funciona en una GPU con transformers; en el Decision Index, Tacitus 31B se ejecutó en una sola RTX PRO 6000 con una latencia mediana de 95 ms y un p95 de 1.000 ms. El escalado añade cientos de tokens generados a cada decisión escalada, así que el límite marca la factura.
- ¿Es AnyJev seguro para los datos de la empresa?
- Todo se ejecuta en local; los pesos vienen de Hugging Face. La pasarela escucha en 127.0.0.1 sin autenticación. El código es Apache-2.0, los pesos de Tacit heredan Apache-2.0 de Qwen y los datasets conservan sus propias licencias. No hay avisos de seguridad publicados.
- ¿Cuáles son las mejores alternativas a AnyJev?
- Las alternativas más cercanas que hemos analizado son Laya, vLLM y vLLM Semantic Router.
Respuestas comprobadas el 28 oct 2026.