AnyJevとは？
AnyJev は、Sunnyvale の Nokia の研究者が Tencent Hunyuan と香港理工大学の共著者とともに開発したもので、普通のオープンな言語モデルを Jev 型の判断モデルに変えます。状態と型付きの質問（選択 、yes/no、スコア）を渡すと、生成されたテキストを解析するのではなく、1 回の prefill でモデルの次トークンの分布から読み取った、選択肢ごとの確率を返します。Jev を作る TypeSafe AI とは無関係です。
方法は二つあります。学習不要の Decider は、Hugging Face transformers、vLLM、SGLang、llama.cpp を通じて任意のオープンな因果言語モデルで動きます。その L0 レベルは、選択肢を入れ替えることで位置のバイアスを平均化し、特定のラベルに対するモデルの好みを割り引きます。ラベル付きデータは不要です。Tacit モデル（Qwen ベースの 1.7B から 9B）は自己蒸留によって、推論したときに到達する答えを 1 パスで出すように作られており、確信度の低い判断の一定割合（上限あり）を完全な推論に回すことができます。
手法は AnyJev Technical Report（arXiv 2610.00831、2026年9月30日）に記されています。pip パッケージ anyjev は 2026年10月6日に 0.3.0 に達しました。コードは Apache-2.0 で、Tacit の重みはベースモデルの Apache-2.0 ライセンスを引き継いでいます。
AnyJevは使う価値があるか？
AnyJev の有益な洞察は、二つのバイアスを取り除けば、オープンなモデルがラベルに付けるスコアにはすでにまずまずの判断モデルが含まれている、という点です。20 クラスの BANKING77 タスク（テスト 300 件）で Qwen3-8B を使うと、学習不要の L0 による読み取りは精度を 0.747 から 0.803 に上げ、選択肢の順序を逆にすると変わる答えの割合を 0.230 から 0.073 に減らし、そして最も有用な点として、誤り率 5% 以下で自動化できるほど確信度の高い判断の割合を 7.7% から 46.3% に引き上げました。これらは著者の数 字ですが、README のすべての数値はコミットされた JSON から読み込まれ、テストで確認されています。
より強い根拠は外部にあります。メンテナーが非公開部分を実行し、レイテンシーも自ら測定するコミュニティの Decision Index では、手を加えていない Gemma-4-31B に L0 を適用したものが 60.22 を記録し、2026年10月12日時点で 149 件中 5 位でした。ファインチューニングした AnyJev Tacitus 31B は 10月21日のエディション 0.4.1 で 66.47 を記録して 3 位タイとなり、RTX PRO 6000 1 基でのレイテンシーの中央値は 95 ms でした。より小さな Tacit-9B は、231 件の公開 JevBench セットで 1 パスで 0.823、判断の 15.2% を推論に回すと 0.887 に達します。
トレードオフは制限事項のページで率直に述べられています。推論に回した判断にはミリ秒ではなく秒単位の時間がかかり、JevBench での Tacit-9B では約 567 トークンの生成が追加されます。文字による読み取りが扱える選択肢は最大 26 で、vLLM 上の Tacit は上位 20 の対数確率からラベルを読み、それ以外はゼロとして数えます。エージェントのループ内では何もテストされていません。最近の修正がその重要性を示しています。vLLM のバックエンドは、欠けたラベルを -30 として読んでおり、エラーを出さないまま確信を持った誤答を返していましたが、ユーザーが報告するまで気づかれませんでした。
Jev 自体と比べた場合の論点は、精度よりもテキストがどこに送られるかです。Jev はホスト型で安価ですが、すべての入力がネットワークの外に出ます。AnyJev は判断を自分が管理する GPU にとどめ、ゲートウェイは 127.0.0.1 で待ち受けますが、独自の認証は持っていません。Laya の小さな エンコーダーモデルと比べると、すでに vLLM で 1.7B から 31B のモデルを提供しているチームに向いています。主な作者が 2 人で、これまでに作られた issue は 11 件という若い研究プロジェクトなので、API は変わるものと考えてください。
真価を発揮する場面
1 日 50,000 件のチケットを 20 のキューに振り分けるサポートプラットフォームのチーム
各チケットをキューに送り、確信度の高いものだけを自動でクローズする
すでに提供している Qwen3-8B を L0 の Decider で包み、キューの一覧を選択の質問として渡します。確率のしきい値を下回るものは人に回します。BANKING77 では、この読み取りによって、ラベルなしで判断の 46.3% が誤り率 5% で安全に自動化できるようになりました（生のスコアでは 7.7%）。
顧客のテキストをホスト型モデルに送れない銀行の ML チーム
ホスト型の判断 API の呼び出しを社内の同等品に置き換える
RTX PRO 6000 クラスの GPU 1 基で Gemma-4-31B を FP8 で提供し、L0 の Decider で包みます。Decision Index で 149 件中 5 位になった構成です。127.0.0.1 のゲートウェイには認証がないので、自前の認証付きプロキシの後ろに置きます。
ワークステーションの GPU を 1 基持つエージェント開発者
実際の確率を伴う yes/no のチェックでツール呼び出しを制御する
`adaptive=True` で Tacit-4B を読み込み、1,000 件の判断ごとに推論に回すのを最大 20% にします。bev-decision では、17.8% を推論に回して精度が 0.663 から 0.704 に上がり、判断 1 件あたり約 187 トークンの生成が追加されました。
導入前に確認すること
- 導入
- Python 3.10+ で `pip install anyjev` を実行します。extras は `[hf]`、`[client]`、`[vllm]` です。`Tacit.from_pretrained("morriszjm/Tacit-9B")` で Hugging Face から重みをダウンロードします。Tacit-9B と Tacit-2B には transformers 5 以降が必要で、Hopper で `vllm serve` を使うには CUDA toolkit が必要です。
- 連携
- Hugging Face transformers、vLLM（プロセス内または稼働中のサーバー）、SGLang、llama.cpp の GGUF モデル向けのバックエンド。MLX と Ollama はロードマップにあります。`python -m anyjev.serve` で POST /v1/decide と GET /v1/stats を公開します。
- データとプライバシー
- すべてローカルで動き、重みは Hugging Face から取得します。ゲートウェ イは認証なしで 127.0.0.1 で待ち受けます。コードは Apache-2.0、Tacit の重みは Qwen から Apache-2.0 を引き継ぎ、データセットはそれぞれのライセンスを保持します。セキュリティアドバイザリは公開されていません。
- 大規模利用時のコスト
- 有料版はありません。Tacit-9B は transformers で GPU 1 基で動きます。Decision Index では、Tacitus 31B は RTX PRO 6000 1 基で、レイテンシーの中央値 95 ms、p95 で 1,000 ms でした。推論に回した判断には 1 件ごとに数百トークンの生成が加わるので、上限の設定が費用を決めます。
- 制限
- 選択肢は最大 26 です。Tacit の 1 パスの読み取りは選択肢の順序について平均化されません。一つのラベルが支配的な場合、L0 のバッチ事前分布は精度を下げます。エージェントのループでの評価はまだありません。未解決の issue は 7 件で、主な作者は 2 人です。
良い点
- transformers、vLLM、SGLang、llama.cpp を通じて、任意のオープン LLM で学習なしに動きます
- ラベル付きデータなしで順序とラベルのバイアスを取り除きます
- リーダーボードの記録は Decision Index のメンテナーが測定しています
- 制限事項と README のすべての数値が文書化され、テストされています
気になる点
- 推論に回した判断には数秒と数百トークンの追加がかかります
- 文字による読み取りの選択肢は最大 26 です
- HTTP ゲートウェイに認証がありません
- エージェントのループ内での評価はまだなく、コントリビューターも少数です
おすすめの人
すでに vLLM でオープンなモデルを提供していて、別の分類器を学習させずに、較正された分類やルーティングの判断を得たい ML エンジニア。
AnyJevの代替
AnyJev：よくある質問
- AnyJevは使う価値があるか？
- すでに動かしているオープンなモデルから正直な確率を引き出す、丁寧に作られた研究用コードです。リーダーボードの結果は、ボードのメンテナー自身が測定したものです。 評価は5点満点中3.9点です。
- AnyJevの料金は？
- Tacit モデルの重みを含め、Apache-2.0 の無料オープンソースです。GPU は自分で用意します。
- AnyJevの欠点は？
- 推論に回した判断には数秒と数百トークンの追加がかかります; 文字による読み取りの選択肢は最大 26 です; HTTP ゲートウェイに認証がありません; エージェントのループ内での評価はまだなく、コントリビューターも少数です.
- AnyJevは誰に向いているか？
- すでに vLLM でオープンなモデルを提供していて、別の分類器を学習させずに、較正された分類やルーティングの判断を得たい ML エンジニア。
- チームや本番環境でAnyJevを使うと費用はいくらか？
- 有料版はありません。Tacit-9B は transformers で GPU 1 基で動きます。Decision Index では、Tacitus 31B は RTX PRO 6000 1 基で、レイテンシーの中央値 95 ms、p95 で 1,000 ms でした。推論に回した判断には 1 件ごとに数百トークンの生成が加わるので、上限の設定が費用を決めます。
- AnyJevは企業データを扱っても安全か？
- すべてローカルで動き、重みは Hugging Face から取得します。ゲートウェイは認証なしで 127.0.0.1 で待ち受けます。コードは Apache-2.0、Tacit の重みは Qwen から Apache-2.0 を引き継ぎ、データセットはそれぞれのライセンスを保持します。セキュリティアドバイザリは公開されていません。
- AnyJevの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はLaya, vLLM 、 vLLM Semantic Routerです。
回答確認日：2026年10月28日