本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)

コード向けのDeepSeek-V4.1-Flashです。エキスパートの半分を削除し、残りを約2ビットにして、transformerを72.1 GBに収めています。

レビュー: Andrew Miller · 更新

当サイトの評価

3.9/5

ラボ自身のテストでDeepSeek-V4.1-FlashのSWE-benchスコアの94.8%を保つ72.1 GBの版です。代わりに、文章力と英語以外の出力が弱くなり、ディスクがさらに110.6 GB必要になります。

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)とは?

これはDeepSeek-V4.1-Flash-1017の圧縮版で、Institute of Science and Technology AustriaのDistributed Algorithms and Systems LabであるISTA-DASLabが、2026年11月2日にHugging Faceで公開しました。各層の384のルーティング対象エキスパートのうち192を削除し、残りを量子化しているため、551.9Bパラメータのtransformerは72.12 GBに収まります。同じラボの枝刈りなしのIQ2_XXS版は138.2 GBです。ラボは「1パラメータあたり1ビット」と呼んでいますが、これは削除したエキスパートを0ビットと数えて元のtransformer全体で平均した1.05 bpwのことで、残った280.1Bパラメータは平均2.06 bpwです。

名前はラボの2つの手法に由来します。GSQは学習後のスカラー量子化で、Gumbel-Softmaxサンプリングによってグリッドへの割り当てとグループごとのスケールを同時に学習します。ラボによると、低ビットでベクトル量子化との差の大部分を埋めつつ、標準のGGUF型で書き出せます。RCOはリーマン多様体上で最適化して、決められた予算どおりに圧縮する手法です。ここでは、コード、エージェントによるツール利用、長いコンテキスト、画像認識を狙ったキャリブレーションデータで、枝刈りあり・なしのモデル間のKLダイバージェンスを最小化して、削除するエキスパートを選びました。キャリブレーションのデータセットは公開されていません。

重みはベースモデルのMITライセンスを引き継いでいます。リポジトリには、IQ2_XXSの5つのシャード(1つ目はメタデータのみ)、IQ4_NL(4.50 bpw)で110.60 GBのEngram参照ファイル(枝刈りも探索もしておらず、6つ目のシャードとしてリンクします)、0.97 GBの画像プロジェクターがあり、合計182.72 GBです。枝刈りなしの版は248.84 GBです。llama.cppとStrataで動き、Hugging Faceのダウンロード数は2026年11月5日時点で127,948でした。

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の料金は?

プラン価格内容
WeightsFreeMITライセンス、DeepSeek-V4.1-Flash-1017から継承
DeepSeek API (base model)$0.15 in / $0.60 out per 1M tokens off-peakDeepSeekのサーバー上の完全なベースモデルで、この版ではありません

MITライセンスの重みは無料で、Engramテーブルを含むGGUFファイルは182.72 GBです。費用はハードウェアです。完全なベースモデルはDeepSeekのAPIで、オフピーク時に1Mトークンあたり入力$0.15 / 出力$0.60です。

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は使う価値があるか?

この版は、DeepSeek-V4.1-Flashのプログラミング能力の大部分を1台のワークステーションに載せます。その代わりに手放すのは、コード以外のほぼすべてです。ISTA-DASLab自身による推論強度50での実行では、SWE-bench VerifiedでFP8/FP4のベースモデルの81.20に対して77.00(94.8%を維持)、LiveCodeBench v6で89.71に対して88.57(98.7%)です。ラボは、SWE-benchの落ち込みが大きい理由を、長く何ターンも続くエージェントのタスクで誤りが積み重なるためだとしています。独立したSWE-benchの実行は見つかりませんでした。

どこで品質が落ちるかは、Strataの計測でわかります。4,995の位置で完全なモデルと出力分布を比べると、CoderのKLダイバージェンスは0.397で、最上位のトークンが一致するのは76.4%です。枝刈りなしの2.00 bpwのセットは0.171と83.7%で、パープレキシティは完全なモデルの3.140から4.645に上がります。内容別では、KLはコードで0.230、エージェントのトレースで0.199ですが、英語の文章では0.476、多言語のテキストでは0.777で、枝刈りなしのセットは0.138にとどまります。Strata独自の61タスクのテストでは54に合格しています。モデルカードもこれを率直に認めており、このリリースを実験的と呼び、一般的な用途には枝刈りなしのGSQ-RCO版を勧めています。

「GPU1枚」という主張は注意して読む必要があります。GPUに載るのは72.1 GBのtransformerで、110.6 GBのEngramテーブルはディスク上でメモリマップされたまま、トークンごとに1行ずつ読まれます。そのため高速なNVMeドライブも必要条件の一部で、モデルカードにはRAMやVRAMの数値がありません。Strata 0.2.10のリリースノートがその穴を埋めています。128 GBのRyzen AI Maxで毎秒20.9〜21.9トークン、ピークメモリ74 GBのApple M5 Maxで19.1〜22.5、Radeon AI PRO R9700の4枚で59.2です。note.comに書いているユーザーは、RTX 3090の2枚と64 GBのRAMで、64Kのコンテキストで平均毎秒29.8トークンを計測しました。同じマシンで枝刈りなしのUD-IQ1_M版が出した10.1の約3倍です。

ベースモデルと比べたときの違いは、ディスクではなく高速なメモリにあります。私たちのDeepSeek-V4.1-Flashのレビューでは、公式チェックポイントは約765 GBで、H100の8枚構成のノードにも収まりません。ラボの枝刈りなしのIQ2_XXSは248.84 GB、この版は182.72 GBで、どちらも共有のEngramファイルが110.60 GBを占めます。枝刈りで小さくなるのはVRAMかRAMに置く必要がある部分だけですが、一般向けのマシンで速度を決めるのはまさにその部分です。コードをDeepSeekのAPIに送れるチームなら、オフピーク時の入力100万トークンあたり$0.15のほうが、どのハードウェアよりも安く済みます。Coderは、自分のマシンから出せないコードのためのものです。

粗い部分も記録されています。StrataはNVIDIAカードのWindowsをまだ試していないとしており、温度0でも起動ごとに回答が変わることがあります。また、モデルの大半をSSDから読み込む場合、5回に1回の実行で、引数の中にDSMLマーカーが入った壊れたツール呼び出しが出ました。モデル全体がメモリにある場合は、8回のツール呼び出しがすべて正しく返りました。

真価を発揮する場面

  • RTX 3090の2枚と64 GBのRAMを持つ開発者

    非公開のリポジトリでローカルのコーディングエージェントを動かす

    Strata 0.2.10でstrata launch --model ISTA-DAS-Coderを実行します。初回のダウンロードは8 GBのドラフターを含めて191 GBです。Claude CodeかOpenCodeをlocalhostのAPIに向けます。あるユーザーは64Kのコンテキストで平均毎秒29.8トークンを計測し、Strataのプルリクエストでは、3090の2枚と121 GBのRAMで8Kのとき25.27でした。

  • 顧客への守秘義務がある20人規模のソフトウェアコンサルティング会社のCTO

    中国でホストされるDeepSeekのAPIを使わずに、DeepSeek級のプログラミング支援を得る

    Strataのリリースノートによると、128 GBのRyzen AI Maxの1台で毎秒20.9〜21.9トークンで動き、トークンごとの請求はなく、ライセンスはMITです。他の言語で書かれた顧客向けの文書は、多言語のKLが0.138の枝刈りなしの版に任せるのが適切です。Coderは0.777です。

  • モデル圧縮を研究するMLの研究者

    同じモデルで、エキスパートの枝刈りと単純な低ビット量子化を比べる

    リポジトリのkept-experts.jsonには層ごとに残した192のエキスパートが載っており、ラボの枝刈りなしのGSQ-RCOのリポジトリには、同じチェックポイントのIQ1_M(1.75 bpw)、IQ2_XXS(2.00)、IQ2_XS(2.25)があります。Strataの分野別KLの表が、コード、エージェント、文書、英語、多言語テキストの比較基準になります。

導入前に確認すること

導入
hf download --include "IQ2_XXS/*" "*Engram*"でダウンロードし、Engramファイルをシャード6としてリンクします(ln -s、Windowsではmklink /H)。llama.cpp b11870以降で、-mにシャード1を指定し-ngl 99を付けて実行します。画像には--mmproj、推論には--reasoning on --reasoning-effort 50を加えます。Strata 0.2.10ならコマンド1つで191 GBをダウンロードし、Engramファイルがすでにあれば約80 GBです。
連携
llama.cpp(llama-cli、llama-server、画像用に--jinjaを付けたllama-mtmd-cli)と、localhostでOpenAI互換とAnthropic互換のAPIを提供するStrataです。ラボによると、各版はStrataと一緒に調整されました。
データとプライバシー
ベースモデルから継承したMITライセンスで、利用制限はありません。すべてローカルで動きます。キャリブレーションのデータセットは公開されていません。
大規模利用時のコスト
この版にはホスト型のAPIがなく、費用はハードウェアです。Strataの数値は、RTX PRO 6000 Blackwell(テストビルド)の毎秒約100トークンから、R9700の4枚で59.2、RAMを40 GBに制限したR9700の1枚で20.9まであり、16 GBでは8.0に落ちます。NVMeの空き容量はllama.cppなら182.72 GB、Strataなら191 GBを見込んでください。
制限
Strataのコンテキストは標準で8,192トークン、最大1Mまで指定できますが、256Kを超える範囲は試されていません。384エキスパート用に作ったホットエキスパートのプロファイルは読み込めません。Strata 0.2.10ではNVIDIAのWindowsは未検証で、温度0でも起動ごとに出力が変わり、品質は英語の文章と多言語のテキストで最も落ちます。

良い点

  • SWE-bench Verifiedで77.00、ベースモデルの94.8%(自己申告)
  • transformerは72.1 GBで、枝刈りなしの138.2 GBより小さい
  • MITライセンス。0.97 GBのプロジェクターで画像入力も維持
  • RTX 3090の2枚と64 GBのRAMで毎秒約30トークン(ユーザー報告)

気になる点

  • 多言語テキストのKLは0.777で、枝刈りなしのセットの0.138より大きい
  • ディスクには依然182.72 GBが必要で、EngramテーブルにはNVMeが要る
  • キャリブレーションのデータセットは非公開
  • SSDから読み込む場合、Strataの5回中1回でツール呼び出しが壊れた

おすすめの人

64 GB以上のRAM、高速なNVMeドライブ、大きなGPU1〜2枚を持ち、コードをAPIに送らずにDeepSeek-V4.1-Flashをコーディングエージェントに使いたい開発者。

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の代替

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF):よくある質問

DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は使う価値があるか?
ラボ自身のテストでDeepSeek-V4.1-FlashのSWE-benchスコアの94.8%を保つ72.1 GBの版です。代わりに、文章力と英語以外の出力が弱くなり、ディスクがさらに110.6 GB必要になります。 評価は5点満点中3.9点です。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の料金は?
MITライセンスの重みは無料で、Engramテーブルを含むGGUFファイルは182.72 GBです。費用はハードウェアです。完全なベースモデルはDeepSeekのAPIで、オフピーク時に1Mトークンあたり入力$0.15 / 出力$0.60です。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の欠点は?
多言語テキストのKLは0.777で、枝刈りなしのセットの0.138より大きい; ディスクには依然182.72 GBが必要で、EngramテーブルにはNVMeが要る; キャリブレーションのデータセットは非公開; SSDから読み込む場合、Strataの5回中1回でツール呼び出しが壊れた.
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は誰に向いているか?
64 GB以上のRAM、高速なNVMeドライブ、大きなGPU1〜2枚を持ち、コードをAPIに送らずにDeepSeek-V4.1-Flashをコーディングエージェントに使いたい開発者。
チームや本番環境でDeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)を使うと費用はいくらか?
この版にはホスト型のAPIがなく、費用はハードウェアです。Strataの数値は、RTX PRO 6000 Blackwell(テストビルド)の毎秒約100トークンから、R9700の4枚で59.2、RAMを40 GBに制限したR9700の1枚で20.9まであり、16 GBでは8.0に落ちます。NVMeの空き容量はllama.cppなら182.72 GB、Strataなら191 GBを見込んでください。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)は企業データを扱っても安全か?
ベースモデルから継承したMITライセンスで、利用制限はありません。すべてローカルで動きます。キャリブレーションのデータセットは公開されていません。
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)の代わりになるものは?
当サイトでレビューした中で最も近い代替はDeepSeek-V4.1-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B 、 DeepSeek-V4-Proです。

回答確認日:2026年11月5日