DeepInferとは？
DeepInfer は、DeepSeek が自社 API で DeepSeek-V4.1-Flash を提供するために使っている推論フレームワークで、2026 年 10 月 20 日に Apache 2.0 で GitHub に公開されました。主に vLLM を土台に、SGLang と TensorRT-LLM のアイデアを取り入れて作られており、DeepSeek 独自のカーネル（FlashMLA、DeepGEMM、DeepEP、TileLang）、幅広いエキスパート並列、確信度に基づいて検証をスケジュールする投機的デコーディング、バッチ不変の推論、構造化出力を加えています。
この最初のリリースは、意図的に一部だけです。対応モデルは DeepSeek-V4.1-Flash の 1 つで、オフライン推論のみを実行し、NVIDIA SM100（Blackwell）GPU と Huawei Ascend 950 NPU を対象としています。完全なサービスを構成する KV キャッシュストア、prefill/decode の分離、ロードバランサーは含まれていません。DeepSeek はこれらが社内インフラと結びついているとし、代わりにデプロイに関する Q&A で設計を説明しています。
タグ付きのリリースはまだありません。リポジトリでは issue が無効になっており、質問は GitHub Discussions とプルリクエストで受け付けています。
DeepInferは使う価値があるか？
DeepInfer の最大の価値は、実際に動くドキュメントであることです。DeepSeek によると、この元になったシステムは単一のクラスターから 1 日 155 兆トークンを提供し、オフピーク価格で 1 GPU 時間あたり US$38 を稼いでいます。リポジトリのデプロイ Q&A がその方法を説明しています。prefill は通常の 8 GPU マシンで行い、decode は 64 から 128 の GPU に分散して GPU ごとに 1 つのエキスパートグループを置き、再利用のための KV キャッシュを専用の SSD クラスターに保持します。自社の推論スタックについてここまで公開する研究所はほとんどありません。
目玉の数字は DeepSeek 自身のものです。decode のグラフでは、ランクあたり 256 リクエストで GPU あたり毎秒約 26,000 出力トークンを示し、ユーザーごとでは毎秒約 100 トークンに落ちます。これは 64 基の SM100 GPU、131,072 トークンのコンテキストで、すべてのドラフトトークンを受理されたものとして数えた測定値です。Q&A が本番の運用点とする、ランクあたり約 60 リクエストでは、表のスループットはランクあたり毎秒約 14,500 トークンです。独立した再現は見つかりませんでした。リポジトリには試すためのスイープ用スクリプトが同梱されています。
現時点で誰が使えるかは、欠けている部分で決まります。HTTP サーバーはなく、あるのは Python のオフライン API だけなので、実際のトラフィックを提供するには KV ストア、分離、負荷分散を自分で作る必要があります。ハードウェアは Blackwell クラスの NVIDIA GPU と Ascend 950 に限られるため、Hopper のフリートは対象外です。Q&A によると、効率的なデプロイの最小構成は prefill に 64 GPU、decode に 64 GPU です。モデルは V4.1-Flash だけで、そのチェックポイントだけで約 765 GB あります。
V4.1-Flash を提供する人にとって、実用的なエンジンは引き続き vLLM と SGLang であり、DeepInfer のカーネルと設定はそれらを調整する際のリファレンスになります。バッチに他に何が入っていても出力が同一に保たれるバッチ不変モードは、評価や RL の作業で最も取り入れる価値のある機能です。DeepSeek は今後のモデル用のコードもここに置くとしており、そうなればリファレンスから有力な選択肢に変わるでしょう。
真価を発揮する場面
B200 クラスのノードで DeepSeek-V4.1-Flash を提供する GPU クラウドの推論チーム
DeepSeek 自身の API とのスループットの差を埋める
現在の vLLM または SGLang のデプロイと並べて DeepInfer のベンチマークスイープを実行し、勝った部分を取り入れます。EP64 での幅広いエキスパート並列、冗長エキスパートによる負荷分散、5 トークンのドラフト設定などです。ソフトウェアは無料ですが、公平な比較には decode 側だけで最低 64 基の SM100 GPU が必要です。
DeepSeek-V4.1-Flash で RL の事後学習を行う研究グループ
バッチの構成によって出力が変わらないロールアウトを得る
DEEPINFER_BATCH_INVARIANT=1 を設定し、固定のシードを渡すと、同一の入力に対して同一の出力が得られます。NVIDIA のみ対応です。オフラインのバッチ生成はまさにこのリリースが対応している用途なので、提供レイヤーを作る必要はありません。
Huawei Ascend に標準化した中国のクラウドプロバイダー
国産のアクセラレーター上で、開発元のコードを使って DeepSeek のモデルを提供する
Ascend 950 NPU 向けに、CANN 9.2 上で DEEPINFER_ACCELERATOR=ascend を指定してビルドします。Apache 2.0 は商用利用を認めていますが、KV キャッシュ、リクエストのルーティング、API のフロントエンドは引き続きプロバイダーが自前で用意する必要があります。
導入前に確認すること
- 導入
- Linux 上で GCC 13 以降、Python 3.12、CUDA 13（Ascend の場合は CANN 9.2）を使い、./build.sh でソースからビルドします。その後 examples/offline_inference.py を実行すると、初回に Hugging Face から DeepSeek-V4.1-Flash-1017 がダウンロードされます。pip パッケージや Docker イメージは公開されていません。
- 連携
- 構造化出力（正規表現、JSON スキーマ、EBNF）付きの Python オフライン API。DeepSeek は、Chat Completions、Responses、Messages のリクエストをトークンに変換する MIT ライセンスの Rust ライブラリ deepseek-recipe を公開しています。組み込みのサーバーはありません。
- データとプライバシー
- すべて自分のハードウェア上で動きます。コードツリーに利用統計のモジュールはなく、クイックスタートでの唯一のネットワーク通信は Hugging Face からのモデルのダウンロードです。用途の制限がない Apache 2.0 です。セキュリティアドバイザリは公開されていません。
- 大規模利用時のコスト
- Q&A によると、効率的な最小単位は prefill に 64 GPU、decode に 64 GPU で、8 GPU あたり約 400 Gbps のインターコネクトと、24 時間の保持で GPU あたり約 14.4 TB の KV キャッシュ用ストレージが必要です。有料版やホスト版はありません。
- 制限
- オフラインのみ、対応モデルは 1 つ、SM100 と Ascend 950 のみです。バッチ不変性と決定的なサンプリングは NVIDIA 限定です。タグ付きのリリースはなく、issue は無効で、最初の 6 日間で 200 件を超えるプルリクエストが開かれました。
良い点
- DeepSeek 自身の API を支える本番エンジンで、Apache 2.0
- 実際の並列化とストレージの設定を記した詳しいデプロイ Q&A
- NVIDIA でのバッチ不変の推論と決定的なサンプリング
- NVIDIA に加えて Huawei Ascend 950 でも動作
気になる点
- オフライン推論のみで、HTTP や OpenAI 互換のサーバーはない
- KV キャッシュストア、分離、負荷分散は公開されていない
- モデルは 1 つ（DeepSeek-V4.1-Flash）で、SM100 または Ascend 950 のみ
- スループットの数値は自己申告で、再現されていない
おすすめの人
DeepSeek-V4.1-Flash をクラスター規模で動かし、DeepSeek のカーネルと設定をリファレンスとして使いたい推論エンジニア。
DeepInferの代替
DeepInfer：よくある質問
- DeepInferは使う価値があるか？
- 本番の LLM サービスの内側をのぞける貴重な機会ですが、現時点では 2 つのチップファミリー上で 1 つのモデルを動かすリファレンスエンジンであり、API の裏に置くものではありません。 評価は5点満点中3.6点です。
- DeepInferの料金は？
- Apache 2.0 ライセンスの無料オープンソースです。費用は Blackwell GPU または Ascend NPU の代金です。
- DeepInferの欠点は？
- オフライン推論のみで、HTTP や OpenAI 互換のサーバーはない; KV キャッシュストア、分離、負荷分散は公開されていない; モデルは 1 つ（DeepSeek-V4.1-Flash）で、SM100 または Ascend 950 のみ; スループットの数値は自己申告で、再現されていない.
- DeepInferは誰に向いているか？
- DeepSeek-V4.1-Flash をクラスター規模で動かし、DeepSeek のカーネルと設定をリファレンスとして使いたい推論エンジニア。
- チームや本番環境でDeepInferを使うと費用はいくらか？
- Q&A によると、効率的な最小単位は prefill に 64 GPU、decode に 64 GPU で、8 GPU あたり約 400 Gbps のインターコネクトと、24 時間の保持で GPU あたり約 14.4 TB の KV キャッシュ用ストレージが必要です。有料版やホスト版はありません。
- DeepInferは企業データを扱っても安全か？
- すべて自分のハードウェア上で動きます。コードツリーに利用統計のモジュールはなく、クイックスタートでの唯一のネットワーク通信は Hugging Face からのモデルのダウンロードです。用途の制限がない Apache 2.0 です。セキュリティアドバイザリは公開されていません。
- DeepInferの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はvLLM, SGLang 、 TensorRT-LLMです。
回答確認日：2026年10月26日