Was ist DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
Dies ist eine komprimierte Fassung von DeepSeek-V4.1-Flash-1017, die ISTA-DASLab, das Distributed Algorithms and Systems Lab am Institute of Science and Technology Austria, am 2. November 2026 auf Hugging Face veröffentlicht hat. Sie löscht in jeder Schicht 192 der 384 gerouteten Experten und quantisiert den Rest, sodass der Transformer mit 551,9B Parametern in 72,12 GB passt, gegenüber 138,2 GB für den ungeprunten IQ2_XXS-Build des Labors. Das Labor spricht von 1 Bit pro Parameter: Das sind 1,05 bpw, gemittelt über den ursprünglichen Transformer, wobei gelöschte Experten als null zählen; die verbleibenden 280,1B Parameter liegen im Schnitt bei 2,06 bpw.
Der Name stammt von zwei Methoden des Labors. GSQ ist eine skalare Quantisierung nach dem Training, die Gitterzuordnung und Gruppenskalen gemeinsam per Gumbel-Softmax-Sampling lernt; laut Labor schließt sie bei wenigen Bits den größten Teil des Abstands zur Vektorquantisierung und schreibt trotzdem Standard-GGUF-Typen. RCO komprimiert auf ein exaktes Budget, indem es auf einer Riemannschen Mannigfaltigkeit optimiert; hier wählte es die zu entfernenden Experten, indem es die KL-Divergenz zwischen gepruntem und ungeprunten Modell auf Kalibrierdaten für Code, agentische Werkzeugnutzung, langen Kontext und Bildverarbeitung minimierte. Die Kalibrierdatensätze sind nicht veröffentlicht.
Die Gewichte behalten die MIT-Lizenz des Basismodells. Das Repository enthält fünf IQ2_XXS-Shards (der erste nur mit Metadaten), die 110,60 GB große Engram-Nachschlagedatei in IQ4_NL (4,50 bpw), die weder geprunt noch durchsucht wurde und als sechster Shard verlinkt wird, und einen Vision-Projektor mit 0,97 GB: 182,72 GB insgesamt, gegenüber 248,84 GB für den ungeprunten Build. Er läuft in llama.cpp und Strata, und Hugging Face zählte bis zum 5. November 2026 127.948 Downloads.
Was kostet DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Weights | Free | MIT-Lizenz, übernommen von DeepSeek-V4.1-Flash-1017 |
| DeepSeek API (base model) | $0.15 in / $0.60 out per 1M tokens off-peak | Vollständiges Basismodell auf DeepSeeks Servern, nicht dieser Build |
Kostenlose Gewichte unter MIT-Lizenz, 182,72 GB GGUF-Dateien einschließlich der Engram-Tabelle; die Kosten sind die Hardware. Das vollständige Basismodell kostet über die DeepSeek-API außerhalb der Spitzenzeiten 0,15 $ Eingabe / 0,60 $ Ausgabe pro 1M Tokens.
Lohnt sich DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
Dieser Build bringt den Großteil der Programmierfähigkeit von DeepSeek-V4.1-Flash auf eine einzelne Workstation, und er gibt dafür fast alles auf, was kein Code ist. In ISTA-DASLabs eigenen Läufen bei Reasoning-Aufwand 50 erreicht er 77,00 auf SWE-bench Verified gegenüber 81,20 für das Basismodell in FP8/FP4 (94,8 % erhalten) und 88,57 gegenüber 89,71 auf LiveCodeBench v6 (98,7 %). Das Labor führt den größeren Verlust bei SWE-bench auf Fehler zurück, die sich über lange Agentenaufgaben mit vielen Runden aufsummieren. Einen unabhängigen SWE-bench-Lauf haben wir nicht gefunden.
Stratas Messungen zeigen, wo der Verlust landet. Beim Vergleich der Ausgabeverteilungen mit dem vollständigen Modell über 4.995 Positionen hat der Coder eine KL-Divergenz von 0,397 und wählt in 76,4 % der Fälle dasselbe wahrscheinlichste Token, gegenüber 0,171 und 83,7 % für das ungeprunte Set mit 2,00 bpw; die Perplexität steigt von 3,140 beim vollständigen Modell auf 4,645. Nach Inhalt aufgeteilt liegt die KL bei 0,230 für Code und 0,199 für Agenten-Traces, aber bei 0,476 für englische Prosa und 0,777 für mehrsprachigen Text, wo das ungeprunte Set 0,138 hält. Stratas eigene Suite mit 61 Aufgaben besteht 54. Die Modellkarte sagt das offen: Sie nennt die Veröffentlichung experimentell und verweist für allgemeine Nutzung auf die ungeprunten GSQ-RCO-Builds.
Das Versprechen einer einzigen GPU muss man genau lesen. Auf die GPU kommt der Transformer mit 72,1 GB; die Engram-Tabelle mit 110,6 GB bleibt per Memory-Mapping auf der Platte und wird pro Token zeilenweise gelesen, also gehört ein schnelles NVMe-Laufwerk zur Ausstattung, und die Karte nennt keine Werte für RAM oder VRAM. Die Release Notes zu Strata 0.2.10 schließen die Lücke: 20,9 bis 21,9 Tokens pro Sekunde auf einem Ryzen AI Max mit 128 GB, 19,1 bis 22,5 auf einem Apple M5 Max mit 74 GB Spitzenspeicher und 59,2 auf vier Radeon AI PRO R9700. Ein Nutzer, der auf note.com schreibt, maß im Schnitt 29,8 Tokens pro Sekunde auf zwei RTX 3090 mit 64 GB RAM bei 64K Kontext, etwa das Dreifache der 10,1 eines ungeprunten UD-IQ1_M-Builds auf derselben Maschine.
Gegenüber dem Basismodell liegt der Gewinn im schnellen Speicher, nicht auf der Platte. Unser Test von DeepSeek-V4.1-Flash beziffert den offiziellen Checkpoint auf etwa 765 GB, mehr als ein Knoten mit acht H100 fasst; der ungeprunte IQ2_XXS-Build des Labors hat 248,84 GB und dieser 182,72 GB, wovon die gemeinsame Engram-Datei jeweils 110,60 GB ausmacht. Das Pruning verkleinert nur den Teil, der in VRAM oder RAM liegen muss, und genau der bestimmt das Tempo auf Consumer-Rechnern. Für Teams, die Code an DeepSeeks API schicken dürfen, sind 0,15 $ pro Million Eingabe-Tokens außerhalb der Spitzenzeiten günstiger als jede dieser Hardware; der Coder ist für Code gedacht, der auf deinen eigenen Rechnern bleiben muss.
Die Schwachstellen sind dokumentiert. Strata führt Windows mit NVIDIA-Karte als noch nicht getestet, Antworten können sich selbst bei Temperatur 0 zwischen Starts unterscheiden, und wenn der Großteil des Modells von der SSD gestreamt wird, lieferte einer von fünf Läufen einen kaputten Tool-Aufruf mit einer DSML-Markierung im Argument. Mit dem Modell vollständig im Speicher kamen alle 8 Tool-Aufrufe korrekt zurück.
Wo es sich lohnt
Ein Entwickler mit zwei RTX 3090 und 64 GB RAM
Einen lokalen Coding-Agenten auf einem privaten Repository laufen lassen
In Strata 0.2.10 strata launch --model ISTA-DAS-Coder ausführen, ein erster Download von 191 GB einschließlich eines Drafters mit 8 GB, und Claude Code oder OpenCode auf die localhost-API richten. Ein Nutzer maß im Schnitt 29,8 Tokens pro Sekunde bei 64K Kontext; ein Strata-Pull-Request maß 25,27 bei 8K auf zwei 3090 mit 121 GB RAM.
Der CTO einer Softwareberatung mit 20 Leuten, die an Vertraulichkeit gegenüber Kunden gebunden ist
Programmierhilfe auf DeepSeek-Niveau ohne DeepSeeks in China gehostete API
Ein einzelner Ryzen AI Max mit 128 GB schafft laut Stratas Release Notes 20,9 bis 21,9 Tokens pro Sekunde, ohne Abrechnung pro Token und unter MIT-Lizenz. Kundendokumentation in anderen Sprachen gehört auf den ungeprunten Build, dessen mehrsprachige KL bei 0,138 liegt gegenüber 0,777 beim Coder.
Ein ML-Forscher, der Modellkompression untersucht
Experten-Pruning und reine Low-Bit-Quantisierung am selben Modell vergleichen
Die Datei kept-experts.json im Repository listet die 192 behaltenen Experten pro Schicht auf, und das ungeprunte GSQ-RCO-Repository des Labors bietet IQ1_M (1,75 bpw), IQ2_XXS (2,00) und IQ2_XS (2,25) desselben Checkpoints. Stratas KL-Tabelle nach Domäne liefert eine fertige Vergleichsbasis für Code, Agenten, Dokumente, Englisch und mehrsprachigen Text.
Bevor du dich festlegst
- Einrichtung
- Mit hf download --include "IQ2_XXS/*" "*Engram*" herunterladen, die Engram-Datei als Shard 6 verlinken (ln -s, unter Windows mklink /H) und llama.cpp b11870 oder neuer mit -m auf Shard 1 und -ngl 99 starten, dazu --mmproj für Bilder und --reasoning on --reasoning-effort 50. In Strata 0.2.10 lädt ein einziger Befehl 191 GB, oder etwa 80 GB, wenn die Engram-Datei schon vorhanden ist.
- Integrationen
- llama.cpp (llama-cli, llama-server und llama-mtmd-cli mit --jinja für Bilder) und Strata, das OpenAI- und Anthropic-kompatible APIs auf localhost bereitstellt. Laut Labor wurden die Builds gemeinsam mit Strata abgestimmt.
- Daten und Datenschutz
- MIT-Lizenz ohne Nutzungsbeschränkungen, übernommen vom Basismodell. Alles läuft lokal; die Kalibrierdatensätze sind nicht veröffentlicht.
- Kosten im großen Maßstab
- Für diesen Build gibt es keine gehostete API; die Kosten sind die Hardware. Stratas Werte reichen von etwa 100 Tokens pro Sekunde auf einer RTX PRO 6000 Blackwell (Test-Build) über 59,2 auf vier R9700 bis 20,9 auf einer R9700 mit auf 40 GB begrenztem RAM, bei 16 GB fallend auf 8,0. Einzuplanen sind 182,72 GB NVMe-Speicher für llama.cpp oder 191 GB für Strata.
- Grenzen
- Strata nutzt standardmäßig 8.192 Tokens Kontext, akzeptiert bis zu 1M und hat nichts über 256K getestet. Hot-Expert-Profile für 384 Experten laden nicht. Windows mit NVIDIA ist in Strata 0.2.10 ungetestet, die Ausgabe schwankt zwischen Starts bei Temperatur 0, und die Qualität fällt am stärksten bei englischer Prosa und mehrsprachigem Text.
Was gut ist
- 77,00 auf SWE-bench Verified, 94,8 % des Basismodells (Selbstangabe)
- Transformer mit 72,1 GB statt 138,2 GB ungeprunt
- MIT-Lizenz; Bildeingabe bleibt über den Projektor mit 0,97 GB erhalten
- Etwa 30 Tokens pro Sekunde auf zwei RTX 3090 mit 64 GB RAM (Nutzerbericht)
Was nicht
- KL 0,777 bei mehrsprachigem Text gegenüber 0,138 beim ungeprunten Set
- Weiterhin 182,72 GB auf der Platte; die Engram-Tabelle braucht NVMe
- Kalibrierdatensätze nicht veröffentlicht
- Kaputte Tool-Aufrufe beim Streamen von der SSD in 1 von 5 Strata-Läufen
Am besten für
Entwickler mit 64 GB oder mehr RAM, einem schnellen NVMe-Laufwerk und ein oder zwei großen GPUs, die DeepSeek-V4.1-Flash für Coding-Agenten nutzen wollen, ohne Code an eine API zu schicken.
Alternativen zu DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)
DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF): häufige Fragen
- Lohnt sich DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
- Ein Build mit 72,1 GB, der im eigenen Test des Labors 94,8 % des SWE-bench-Werts von DeepSeek-V4.1-Flash behält, erkauft mit schwächerer Prosa, schwächerer Ausgabe in anderen Sprachen als Englisch und weiteren 110,6 GB auf der Platte. Wir bewerten es mit 3.9 von 5.
- Was kostet DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
- Kostenlose Gewichte unter MIT-Lizenz, 182,72 GB GGUF-Dateien einschließlich der Engram-Tabelle; die Kosten sind die Hardware. Das vollständige Basismodell kostet über die DeepSeek-API außerhalb der Spitzenzeiten 0,15 $ Eingabe / 0,60 $ Ausgabe pro 1M Tokens.
- Welche Nachteile hat DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
- KL 0,777 bei mehrsprachigem Text gegenüber 0,138 beim ungeprunten Set; Weiterhin 182,72 GB auf der Platte; die Engram-Tabelle braucht NVMe; Kalibrierdatensätze nicht veröffentlicht; Kaputte Tool-Aufrufe beim Streamen von der SSD in 1 von 5 Strata-Läufen.
- Für wen eignet sich DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
- Entwickler mit 64 GB oder mehr RAM, einem schnellen NVMe-Laufwerk und ein oder zwei großen GPUs, die DeepSeek-V4.1-Flash für Coding-Agenten nutzen wollen, ohne Code an eine API zu schicken.
- Was kostet DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF) für ein Team oder im Produktivbetrieb?
- Für diesen Build gibt es keine gehostete API; die Kosten sind die Hardware. Stratas Werte reichen von etwa 100 Tokens pro Sekunde auf einer RTX PRO 6000 Blackwell (Test-Build) über 59,2 auf vier R9700 bis 20,9 auf einer R9700 mit auf 40 GB begrenztem RAM, bei 16 GB fallend auf 8,0. Einzuplanen sind 182,72 GB NVMe-Speicher für llama.cpp oder 191 GB für Strata.
- Ist DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF) sicher für Firmendaten?
- MIT-Lizenz ohne Nutzungsbeschränkungen, übernommen vom Basismodell. Alles läuft lokal; die Kalibrierdatensätze sind nicht veröffentlicht.
- Was sind die besten Alternativen zu DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder (GGUF)?
- Die nächsten Alternativen, die wir getestet haben, sind DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B und DeepSeek-V4-Pro.
Antworten geprüft am 5. Nov. 2026.