Was ist AnyJev?
AnyJev, von Forschern bei Nokia in Sunnyvale mit Co-Autoren bei Tencent Hunyuan und der Hong Kong Polytechnic University, macht aus einem gewöhnlichen offenen Sprachmodell ein Entscheidungsmodell nach Art von Jev. Du gibst ihm einen Zustand und eine typisierte Frage (eine Auswahl, ein Ja/Nein oder eine Bewertung), und es liefert eine Wahrscheinlichkeit über die Optionen, gelesen aus der Next-Token-Verteilung des Modells in einem einzigen Prefill statt aus generiertem Text geparst. Es ist nicht mit TypeSafe AI verbunden, dem Hersteller von Jev.
Es gibt zwei Wege. Der trainingsfreie Decider funktioniert mit jedem offenen kausalen LM über Hugging Face transformers, vLLM, SGLang oder llama.cpp; seine Stufe L0 mittelt den Positionsbias heraus, indem sie die Optionen rotiert, und rechnet die Vorliebe des Modells für bestimmte Labels heraus, ohne dass Labels nötig sind. Die Tacit-Modelle (1,7B bis 9B, auf Basis von Qwen) sind selbstdestilliert, um in einem Durchgang die Antworten zu geben, zu denen sie beim Reasoning kommen, und können einen gedeckelten Anteil unsicherer Entscheidungen an volles Reasoning weitergeben.
Die Methode ist im AnyJev Technical Report beschrieben (arXiv 2610.00831, 30. September 2026). Das pip-Paket anyjev erreichte am 6. Oktober 2026 Version 0.3.0; der Code steht unter Apache-2.0, und die Tacit-Gewichte tragen die Apache-2.0-Lizenz ihrer Basismodelle.
Lohnt sich AnyJev?
AnyJevs nützliche Erkenntnis ist, dass die Labels, die ein offenes Modell bewertet, bereits ein brauchbares Entscheidungsmodell enthalten, sobald zwei Verzerrungen entfernt sind. Auf Qwen3-8B mit der BANKING77-Aufgabe mit 20 Optionen (300 Testfälle) hob die trainingsfreie L0-Auslesung die Genauigkeit von 0,747 auf 0,803, senkte den Anteil der Antworten, die bei umgekehrter Reihenfolge der Optionen kippen, von 0,230 auf 0,073 und, am nützlichsten, hob den Anteil der Entscheidungen, die sicher genug sind, um sie bei höchstens 5% Fehlerquote zu automatisieren, von 7,7% auf 46,3%. Das sind Zahlen der Autoren, aber jede Zahl im README wird aus committetem JSON gelesen und durch einen Test geprüft.
Stärker sind die externen Belege. Im Community-Ranking Decision Index, dessen Betreiber die privaten Teile ausführen und die Latenz selbst messen, erzielte L0 auf einem unveränderten Gemma-4-31B 60,22 Punkte, Platz fünf von 149 Einträgen am 12. Oktober 2026, und das feinabgestimmte AnyJev Tacitus 31B erzielte 66,47, geteilter dritter Platz in Edition 0.4.1 am 21. Oktober, mit einer Median-Latenz von 95 ms auf einer RTX PRO 6000. Das kleinere Tacit-9B erreicht auf dem öffentlichen JevBench-Set mit 231 Fällen 0,823 in einem Durchgang und 0,887, wenn 15,2% der Entscheidungen an Reasoning eskaliert werden.
Die Zielkonflikte stehen klar auf der Seite zu den Einschränkungen. Eine eskalierte Entscheidung kostet Sekunden statt Millisekunden und fügt bei Tacit-9B auf JevBench etwa 567 generierte Tokens hinzu. Die Buchstaben-Auslesung verarbeitet höchstens 26 Optionen, Tacit auf vLLM liest Labels aus den 20 höchsten Log-Wahrscheinlichkeiten und zählt alles andere als null, und nichts wurde innerhalb einer Agentenschleife getestet. Ein kürzlicher Fix zeigt, warum das wichtig ist: Das vLLM-Backend las ein fehlendes Label früher als -30 und erzeugte so ohne Fehlermeldung eine selbstsichere falsche Antwort, bis ein Nutzer es meldete.
Gegenüber Jev selbst geht es weniger um Genauigkeit als darum, wohin dein Text geht. Jev ist gehostet und günstig, aber jede Eingabe verlässt dein Netz; AnyJev hält Entscheidungen auf einer GPU, die du kontrollierst, mit einem Gateway, das auf 127.0.0.1 lauscht und keine eigene Authentifizierung hat. Im Vergleich mit Layas kleinen Encoder-Modellen passt es zu Teams, die bereits ein Modell mit 1,7B bis 31B auf vLLM betreiben. Es ist ein junges Forschungsprojekt mit zwei Hauptautoren und bisher 11 gemeldeten Issues, also rechne damit, dass sich die API bewegt.
Wo es sich lohnt
Ein Support-Plattformteam, das 50.000 Tickets am Tag auf 20 Warteschlangen verteilt
Jedes Ticket einer Warteschlange zuweisen und nur die sicheren automatisch schließen
Das bereits betriebene Qwen3-8B mit dem Decider auf L0 umhüllen und die Liste der Warteschlangen als Auswahlfrage übergeben; alles unter deiner Wahrscheinlichkeitsschwelle geht an einen Menschen. Auf BANKING77 machte diese Auslesung 46,3% der Entscheidungen bei 5% Fehlerquote sicher automatisierbar, gegenüber 7,7% mit rohen Scores, ohne Labels.
Das ML-Team einer Bank, das Kundentexte nicht an ein gehostetes Modell schicken darf
Aufrufe einer gehosteten Entscheidungs-API durch ein hauseigenes Gegenstück ersetzen
Gemma-4-31B in FP8 auf einer GPU der Klasse RTX PRO 6000 betreiben und mit dem Decider auf L0 umhüllen, das Setup, das im Decision Index Platz fünf von 149 erreichte. Das Gateway auf 127.0.0.1 hinter einen eigenen authentifizierten Proxy stellen, da es keine Authentifizierung hat.
Ein Agentenentwickler mit einer Workstation-GPU
Tool-Aufrufe mit Ja/Nein-Prüfungen absichern, die echte Wahrscheinlichkeiten tragen
Tacit-4B mit `adaptive=True` laden, sodass von je 1.000 Entscheidungen höchstens 20% an Reasoning eskalieren. Auf bev-decision hob das die Genauigkeit von 0,663 auf 0,704 bei 17,8% eskalierten Entscheidungen, mit etwa 187 zusätzlich generierten Tokens pro Entscheidung.
Bevor du dich festlegst
- Einrichtung
- `pip install anyjev` unter Python 3.10+, mit den Extras `[hf]`, `[client]` oder `[vllm]`; `Tacit.from_pretrained("morriszjm/Tacit-9B")` lädt die Gewichte von Hugging Face. Tacit-9B und Tacit-2B brauchen transformers 5 oder neuer, und `vllm serve` auf Hopper braucht das CUDA-Toolkit.
- Integrationen
- Backends für Hugging Face transformers, vLLM (im Prozess oder als laufender Server), SGLang und GGUF-Modelle in llama.cpp; MLX und Ollama stehen auf der Roadmap. `python -m anyjev.serve` stellt POST /v1/decide und GET /v1/stats bereit.
- Daten und Datenschutz
- Alles läuft lokal; die Gewichte kommen von Hugging Face. Das Gateway lauscht ohne Authentifizierung auf 127.0.0.1. Der Code steht unter Apache-2.0, die Tacit-Gewichte erben Apache-2.0 von Qwen, und Datensätze behalten ihre eigenen Lizenzen. Keine Sicherheitshinweise veröffentlicht.
- Kosten im großen Maßstab
- Keine bezahlte Edition. Tacit-9B läuft mit transformers auf einer GPU; im Decision Index lief Tacitus 31B auf einer einzelnen RTX PRO 6000 mit 95 ms Median- und 1.000 ms p95-Latenz. Eskalation fügt jeder eskalierten Entscheidung Hunderte generierter Tokens hinzu, also bestimmt die Obergrenze die Rechnung.
- Grenzen
- Höchstens 26 Optionen; Tacits Auslesung in einem Durchgang wird nicht über die Reihenfolge der Optionen gemittelt; der Batch-Prior von L0 schadet der Genauigkeit, wenn ein Label dominiert; noch keine Evaluation in Agentenschleifen; 7 offene Issues und zwei Hauptautoren.
Was gut ist
- Funktioniert trainingsfrei mit jedem offenen LLM über transformers, vLLM, SGLang oder llama.cpp
- Entfernt Reihenfolge- und Label-Bias ohne gelabelte Daten
- Leaderboard-Einträge von den Betreibern des Decision Index gemessen
- Einschränkungen und jede Zahl im README sind dokumentiert und getestet
Was nicht
- Eskalierte Entscheidungen dauern Sekunden und kosten Hunderte zusätzliche Tokens
- Höchstens 26 Optionen in der Buchstaben-Auslesung
- Das HTTP-Gateway hat keine Authentifizierung
- Noch nicht in Agentenschleifen evaluiert; kleiner Kreis von Mitwirkenden
Am besten für
ML-Engineers, die bereits ein offenes Modell auf vLLM betreiben und kalibrierte Klassifikations- und Routing-Entscheidungen wollen, ohne einen separaten Klassifikator zu trainieren.
Alternativen zu AnyJev
AnyJev: häufige Fragen
- Lohnt sich AnyJev?
- Sorgfältiger Forschungscode, der ehrliche Wahrscheinlichkeiten aus dem offenen Modell holt, das du ohnehin betreibst, mit Leaderboard-Ergebnissen, die die Betreiber des Boards selbst gemessen haben. Wir bewerten es mit 3.9 von 5.
- Was kostet AnyJev?
- Kostenlos und Open Source unter Apache-2.0, einschließlich der Tacit-Modellgewichte. Die GPU stellst du.
- Welche Nachteile hat AnyJev?
- Eskalierte Entscheidungen dauern Sekunden und kosten Hunderte zusätzliche Tokens; Höchstens 26 Optionen in der Buchstaben-Auslesung; Das HTTP-Gateway hat keine Authentifizierung; Noch nicht in Agentenschleifen evaluiert; kleiner Kreis von Mitwirkenden.
- Für wen eignet sich AnyJev?
- ML-Engineers, die bereits ein offenes Modell auf vLLM betreiben und kalibrierte Klassifikations- und Routing-Entscheidungen wollen, ohne einen separaten Klassifikator zu trainieren.
- Was kostet AnyJev für ein Team oder im Produktivbetrieb?
- Keine bezahlte Edition. Tacit-9B läuft mit transformers auf einer GPU; im Decision Index lief Tacitus 31B auf einer einzelnen RTX PRO 6000 mit 95 ms Median- und 1.000 ms p95-Latenz. Eskalation fügt jeder eskalierten Entscheidung Hunderte generierter Tokens hinzu, also bestimmt die Obergrenze die Rechnung.
- Ist AnyJev sicher für Firmendaten?
- Alles läuft lokal; die Gewichte kommen von Hugging Face. Das Gateway lauscht ohne Authentifizierung auf 127.0.0.1. Der Code steht unter Apache-2.0, die Tacit-Gewichte erben Apache-2.0 von Qwen, und Datensätze behalten ihre eigenen Lizenzen. Keine Sicherheitshinweise veröffentlicht.
- Was sind die besten Alternativen zu AnyJev?
- Die nächsten Alternativen, die wir getestet haben, sind Laya, vLLM und vLLM Semantic Router.
Antworten geprüft am 28. Okt. 2026.