DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)とは?
これはDeepSeek-V4.1-Flash-1017の圧縮版で、Institute of Science and Technology AustriaのDistributed Algorithms and Systems LabであるISTA-DASLabが、2026年11月2日にHugging Faceで公開しました。各層の384のルーティング対象エキスパートのうち192を削除し、残りを量子化しているため、551.9Bパラメータのtransformerは72.12 GBに収まります。同じラボの枝刈りなしのIQ2_XXS版は138.2 GBです。ラボは「1パラメータあたり1ビット」と呼んでいますが、これは削除したエキスパートを0ビットと数えて元のtransformer全体で平均した1.05 bpwのことで、残った280.1Bパラメータは平均2.06 bpwです。
名前はラボの2つの手法に由来します。GSQは学習後のスカラー量子化で、Gumbel-Softmaxサンプリングによってグリッドへの割り当てとグループごとのスケールを同時に学習します。ラボによると、低ビットでベクトル量子化との差の大部分を埋めつつ、標準のGGUF型で書き出せます。RCOはリーマン多様体上で最適化して、決められた予算どおりに圧縮する手法です。ここでは、コード、エージェントによるツール利用、長いコンテキスト、画像認識を狙ったキャリブレーションデータで、枝刈りあり・なしのモデル間のKLダイバージェンスを最小化して、削除するエキスパートを選びました。キャリブレーションのデータセットは公開されていません。
重みはベースモデルのMITライセンスを引き継いでいます。リポジトリには、IQ2_XXSの5つのシャード(1つ目はメタデータのみ)、IQ4_NL(4.50 bpw)で110.60 GBのEngram参照ファイル(枝刈りも探索もしておらず、6つ目のシャードとしてリンクします)、0.97 GBの画像プロジェクターがあり、合計182.72 GBです。枝刈りなしの版は248.84 GBです。llama.cppとStrataで動き、Hugging Faceのダウンロード数は2026年11月5日時点で127,948でした。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の料金は?
| プラン | 価格 | 内容 |
|---|---|---|
| Weights | Free | MITライセンス、DeepSeek-V4.1-Flash-1017から継承 |
| DeepSeek API (base model) | $0.15 in / $0.60 out per 1M tokens off-peak | DeepSeekのサーバー上の完全なベースモデルで、この版ではありません |
MITライセンスの重みは無料で、Engramテーブルを含むGGUFファイルは182.72 GBです。費用はハードウェアです。完全なベースモデルはDeepSeekのAPIで、オフピーク時に1Mトークンあたり入力$0.15 / 出力$0.60です。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は使う価値があるか?
この版は、DeepSeek-V4.1-Flashのプログラミング能力の大部分を1台のワークステーションに載せます。その代わりに手放すのは、コード以外のほぼすべてです。ISTA-DASLab自身による推論強度50での実行では、SWE-bench VerifiedでFP8/FP4のベースモデルの81.20に対して77.00(94.8%を維持)、LiveCodeBench v6で89.71に対して88.57(98.7%)です。ラボは、SWE-benchの落ち込みが大きい理由を、長く何ターンも続くエージェントのタスクで誤りが積み重なるためだとしています。独立したSWE-benchの実行は見つかりませんでした。
どこで品質が落ちるかは、Strataの計測でわかります。4,995の位置で完全なモデルと出力分布を比べると、CoderのKLダイバージェンスは0.397で、最上位のトークンが一致するのは76.4%です。枝刈りなしの2.00 bpwのセットは0.171と83.7%で、パープレキシティは完全なモデルの3.140から4.645に上がります。内容別では、KLはコードで0.230、エージェントのトレースで0.199ですが、英語の文章では0.476、多言語のテキストでは0.777で、枝刈りなしのセットは0.138にとどまります。Strata独自の61タスクのテストでは54に合格しています。モデルカードもこれを率直に認めており、このリリースを実験的と呼び、一般的な用途には枝 刈りなしのGSQ-RCO版を勧めています。
「GPU1枚」という主張は注意して読む必要があります。GPUに載るのは72.1 GBのtransformerで、110.6 GBのEngramテーブルはディスク上でメモリマップされたまま、トークンごとに1行ずつ読まれます。そのため高速なNVMeドライブも必要条件の一部で、モデルカードにはRAMやVRAMの数値がありません。Strata 0.2.10のリリースノートがその穴を埋めています。128 GBのRyzen AI Maxで毎秒20.9〜21.9トークン、ピークメモリ74 GBのApple M5 Maxで19.1〜22.5、Radeon AI PRO R9700の4枚で59.2です。note.comに書いているユーザーは、RTX 3090の2枚と64 GBのRAMで、64Kのコンテキストで平均毎秒29.8トークンを計測しました。同じマシンで枝刈りなしのUD-IQ1_M版が出した10.1の約3倍です。
ベースモデルと比べたときの違いは、ディスクではなく高速なメモリにあります。私たちのDeepSeek-V4.1-Flashのレビューでは、公式チェックポイントは約765 GBで、H100の8枚構成のノードにも収まりません。ラボの枝刈りなしのIQ2_XXSは248.84 GB、この版は182.72 GBで、どちらも共有のEngramファイルが110.60 GBを占めます。枝刈りで小さくなるのはVRAMかRAMに置く必要がある部分だけですが、一般向けのマシンで速度を決めるのはまさにその部分です。コードをDeepSeekのAPIに送れるチームなら、オフピーク時の入力100万トークンあたり$0.15のほうが、どのハードウェアよりも安く済みます。Coderは、自分のマシンから出せないコードのためのものです。
粗い部分も記録されています。StrataはNVIDIAカードのWindowsをまだ試していないとしており、温度0でも起動ごとに回答が変わることがあります。また、モデルの大半をSSDから読み込む場合、5回に1回の実行で、引数の中にDSMLマーカーが入った壊れたツール呼び出しが出ました。モデル全体がメモリにある場合は、8回のツール呼び出しがすべて正しく返りました。
真価を発揮する場面
RTX 3090の2枚と64 GBのRAMを持つ開発者
非公開のリポジトリでローカルのコーディングエージェントを動かす
Strata 0.2.10でstrata launch --model ISTA-DAS-Coderを実行します。初回のダウンロードは8 GBのドラフターを含めて191 GBです。Claude CodeかOpenCodeをlocalhostのAPIに向けます。あるユーザーは64Kのコンテキストで平均毎秒29.8トークンを計測し、Strataのプルリクエストでは、3090の2枚と121 GBのRAMで8Kのとき25.27でした。
顧客への守秘義務がある20人規模のソフトウェアコンサルティング会社のCTO
中国でホストされるDeepSeekのAPIを使わずに、DeepSeek級のプログラミング支援を得る
Strataのリリースノートによると、128 GBのRyzen AI Maxの1台で毎秒20.9〜21.9トークンで動き、トークンごとの請求はなく、ライセンスはMITです。他の言語で書かれた顧客向けの文書は、多言語のKLが0.138の枝刈りなしの版に任せるのが適切です。Coderは0.777です。
モデル圧縮を研究するMLの研究者
同じモデルで、エキスパートの枝刈りと単純な低ビット量子化を比べる
リポジトリのkept-experts.jsonには層ごとに残した192のエキスパートが載っており、ラボの枝刈りなしのGSQ-RCOのリポジトリには、同じチェックポイントのIQ1_M(1.75 bpw)、IQ2_XXS(2.00)、IQ2_XS(2.25)があります。Strataの分野別KLの表が、コード、エージェント、文書、英語、多言語テキストの比較基準になります。
導入前に確認すること
- 導入
- hf download --include "IQ2_XXS/*" "*Engram*"でダウンロードし、Engramファイルをシャード6としてリンクします(ln -s、Windowsではmklink /H)。llama.cpp b11870以降で、-mにシャード1を指定し-ngl 99を付けて実行します。画像には--mmproj、推論には--reasoning on --reasoning-effort 50を加えます。Strata 0.2.10ならコマンド1つで191 GBをダウンロードし、Engramファイルがすでにあれば約80 GBです。
- 連携
- llama.cpp(llama-cli、llama-server、画像用に--jinjaを付けたllama-mtmd-cli)と、localhostでOpenAI互換とAnthropic互換のAPIを提供するStrataです。ラボによると、各版はStrataと一緒に調整されました。
- データとプライバシー
- ベースモデルから継承したMITライセンスで、利用制限はありません。すべてローカルで動きます。キャリブレーションのデータセットは公開されていません。
- 大規模利用時のコスト
- この版にはホスト型のAPIがなく、費用はハードウェアです。Strataの数値は、RTX PRO 6000 Blackwell(テストビルド)の毎秒約100トークンから、R9700の4枚で59.2、RAMを40 GBに制限したR9700の1枚で20.9まであり、16 GBでは8.0に落ちます。NVMeの空き容量はllama.cppなら182.72 GB、Strataなら191 GBを見込んでください。
- 制限
- Strataのコンテキストは標準で8,192トークン、最大1Mまで指定できますが、256Kを超える範囲は試されていません。384エキスパート用に作ったホットエキスパートのプロファイルは読み込めません。Strata 0.2.10ではNVIDIAのWindowsは未検証で、温度0でも起動ごとに出力が変わり、品質は英語の文章と多言語のテキストで最も落ちます。
良い点
- SWE-bench Verifiedで77.00、ベースモデルの94.8%(自己申告)
- transformerは72.1 GBで、枝刈りなしの138.2 GBより小さい
- MITライセンス。0.97 GBのプロジェクターで画像入力も維持
- RTX 3090の2枚と64 GBのRAMで毎秒約30トークン(ユーザー報告)
気になる点
- 多言語テキストのKLは0.777で、枝刈りなしのセットの0.138より大きい
- ディスクには依然182.72 GBが必要で、EngramテーブルにはNVMeが要る
- キャリブレーションのデータセットは非公開
- SSDから読み込む場合、Strataの5回中1回でツール呼び出しが壊れた
おすすめの人
64 GB以上のRAM、高速なNVMeドライブ、大きなGPU1〜2枚を持ち、コードをAPIに送らずにDeepSeek-V4.1-Flashをコーディングエージェントに使いたい開発者。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の代替
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF):よくある質問
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は使う価値があるか?
- ラボ自身のテストでDeepSeek-V4.1-FlashのSWE-benchスコアの94.8%を保つ72.1 GBの版です。代わりに、文章力と英語以外の出力が弱くなり、ディスクがさらに110.6 GB必要になります。 評価は5点満点中3.9点です。
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の料金は?
- MITライセンスの重みは無料で、Engramテーブルを含むGGUFファイルは182.72 GBです。費用はハードウェアです。完全なベースモデルはDeepSeekのAPIで、オフピーク時に1Mトークンあたり入力$0.15 / 出力$0.60です。
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の欠点は?
- 多言語テキストのKLは0.777で、枝刈りなしのセットの0.138より大きい; ディスクには依然182.72 GBが必要で、EngramテーブルにはNVMeが要る; キャリブレーションのデータセットは非公開; SSDから読み込む場合、Strataの5回中1回でツール呼び出しが壊れた.
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は誰に向いているか?
- 64 GB以上のRAM、高速なNVMeドライブ、大きなGPU1〜2枚を持ち、コードをAPIに送らずにDeepSeek-V4.1-Flashをコーディングエージェントに使いたい開発者。
- チームや本番環境でDeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)を使うと費用はいくらか?
- この版にはホスト型のAPIがなく、費用はハードウェアです。Strataの数値は、RTX PRO 6000 Blackwell(テストビルド)の毎秒約100トークンから、R9700の4枚で59.2、RAMを40 GBに制限したR9700の1枚で20.9まであり、16 GBでは8.0に落ちます。NVMeの空き容量はllama.cppなら182.72 GB、Strataなら191 GBを見込んでください。
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は企業データを扱っても安全か?
- ベースモデルから継承したMITライセンスで、利用制限はありません。すべてローカルで動きます。キャリブレーションのデータセットは公開されていません。
- DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の代わりになるものは?
- 当サイトでレビ ューした中で最も近い代替はDeepSeek-V4.1-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B 、 DeepSeek-V4-Proです。
回答確認日:2026年11月5日
