Was ist llama-modchip?
llama-modchip ist eine Sammlung von Patches für llama.cpp, ein Quantisierer und ein Wrapper-Skript namens ./modchip, um große Mixture-of-Experts-Modelle (MoE) allein auf der CPU auszuführen. Ein MoE-Modell nutzt pro Token nur wenige seiner Experten, deshalb hängt die Geschwindigkeit auf einer CPU vor allem davon ab, wie viele Bytes an Gewichten pro Token aus dem Speicher gelesen werden müssen. Das Projekt verkleinert diese Bytes mit zwei eigenen Formaten: Fractal-64 mit 3,75 Bit pro Gewicht und LUT-VQ3-64 mit 3,00, dekodiert mit AVX-512-Lookup-Befehlen auf aktuellen AMD- und Intel-Chips, dazu Pfade für AVX2 und Apple Metal.
Das Aushängeschild ist DeepSeek-V4-Flash-0731, ein Modell mit 284,33B Parametern und 13,17B aktiven pro Token, in Dateien von 56,40 bis 56,93 GiB, die in einen Rechner mit 64 GB passen. Außerdem gibt es NVIDIA Nemotron-3.5-30B-A3B mit 13,30 GiB für Laptops mit 16 bis 32 GB. Das Skript ./modchip lädt einen vorgebauten Server, wählt ein Modell passend zum RAM und startet einen Terminal-Chat, einen Web-Chat, einen Benchmark oder Claude Code mit Anbindung an die lokale Engine.
Die Dateien laden nur in dieser Laufzeit. LUT-VQ3-64 führt einen neuen Tensortyp ein, 43, und Fractal-64 nutzt die in llama.cpp bereits vergebene Typnummer 42 mit anderem Aufbau, daher lehnen unverändertes llama.cpp, Ollama, vLLM und LM Studio sie ab. Das Projekt steht unter Apache 2.0, begann am 29. Oktober 2026, und fast alle Commits stammen von einem Entwickler.
Lohnt sich llama-modchip?
llama-modchip gibt ein konkretes Versprechen und belegt es weitgehend: DeepSeek-V4-Flash mit 284B Parametern auf einem gewöhnlichen Desktop mit 64 GB, ohne Grafikkarte. Auf einem Zen 5 mit 16 Kernen und Dual-Channel-DDR5-5600 nennt die README 8,66 Tokens pro Sekunde für den Standard-Build MaxQ-Fractal bei einer einzelnen Antwort, 36,1 bis 41,1 Tokens pro Sekunde beim kalten Einlesen eines Prompts und Spitzen bis 25,3 Tokens pro Sekunde mit dem spekulativen Decoder. Der Prozess belegt 57,54 bis 58,13 GiB der rund 62,5 GiB, die ein Linux-Rechner mit 64 GB nutzen kann, und lässt kaum Platz für einen Browser.
Die Qualitätskosten stehen in den eigenen Tabellen, was für das Projekt spricht. Auf dem wiki-alt-Text von AtomicChat liegt die Perplexität des 284B-Builds bei 7,2977 gegenüber 4,5381 für das unquantisierte Modell, 60,8% höher, und er erreicht 70 von 80 im Funktionstest des Projekts. Der Nemotron-Build mit 30B liegt näher am Original: Perplexität 7,4400 gegenüber 6,9582 auf WikiText-2 und 100 von 100 im selben Test. Das sind Messungen des Maintainers mit einer selbst geschriebenen Testsuite; externe Berichte sind bisher Geschwindigkeitseinsendungen für die Rangliste, etwa 8,11 Tokens pro Sekunde auf einem Ryzen 9 9950X3D.
Der Haken liegt vor allem in den Formaten. Weil Fractal-64 eine vorhandene Tensortypnummer belegt, kann eine Datei mit einer offiziellen verwechselt werden und mit einem Größenfehler statt einer klaren Meldung scheitern, und du bist darauf angewiesen, dass dieser Fork mit llama.cpp Schritt hält. Die vorgebauten Linux-Binaries kommen mit SHA-256-Prüfsummen, die aber im selben Release liegen wie die Dateien; sie schützen also vor einem kaputten Download, nicht vor einem kompromittierten Release. Unter Windows läuft das Build-Skript mit der PowerShell-Ausführungsrichtlinie Bypass.
./modchip claude verbindet Claude Code mit einem Platzhalterschlüssel mit dem lokalen Gateway. Im aktuellen Skript fügt es --dangerously-skip-permissions, das den Agenten Befehle ohne Nachfrage ausführen lässt, nur hinzu, wenn MODCHIP_CLAUDE_SKIP_PERMS=1 gesetzt ist; lass die Variable ungesetzt. Gateway und Web-Chat binden an 127.0.0.1 und verlangen einen Schlüssel nur, wenn GATEWAY_API_KEY gesetzt ist. Zwei optionale abliterated-Modelle, bei denen die Verweigerungen entfernt wurden, werden nur nach ausdrücklicher Bestätigung installiert.
Für die meisten Besitzer von 64 GB ist ein kleineres Modell in einer Standard-GGUF-Datei unter llama.cpp oder Ollama schneller, besser getestet und portabel. colibri geht den anderen Weg zu riesigen MoE-Modellen und streamt Experten von der Festplatte, statt sie passend für den RAM zu komprimieren. llama-modchip passt zu Enthusiasten, die gezielt das 284B-Modell im Speicher halten wollen und ein Format akzeptieren, das an ein einziges Projekt gebunden ist.
Wo es sich lohnt
Ein Entwickler mit einem Ryzen-9000-Desktop mit 64 GB und ohne dedizierte GPU
Ein offenes Modell in Frontier-Größe lokal für vertrauliche Programmierfragen nutzen
Klone das Repository und starte ./modchip chat; es lädt das passende AVX-512-Binary und das MaxQ-Fractal-Modell mit 56,93 GiB. Rechne mit rund 9 Tokens pro Sekunde bei 32.768 Tokens Kontext, schließe andere speicherhungrige Programme und aktiviere zram, wenn das System zu swappen beginnt.
Eine Studentin mit einem Laptop mit 32 GB
Claude Code ohne API-Rechnung mit einem lokalen Modell verbinden
Der Standard-Build Nemotron-3.5-30B-A3B mit 13,30 GiB läuft auf dem Zen-5-Testrechner des Projekts mit rund 24 Tokens pro Sekunde. ./modchip claude setzt ANTHROPIC_BASE_URL auf das lokale Gateway; lass MODCHIP_CLAUDE_SKIP_PERMS ungesetzt, damit Claude Code vor Befehlen weiter nachfragt.
Ein Forscher für Quantisierung
Vektorquantisierte MoE-Formate mit Q2_K und Q3_K vergleichen
README und Benchmark-Dateien nennen Signal-Rausch-Abstand, Kosinus-Ähnlichkeit, Perplexität und KL-Divergenz für jedes Format auf denselben Tensoren, und ./modchip quantize wandelt eigene GGUF-Dateien um. Die Ergebnisse stammen vom Maintainer; wiederhole sie, bevor du sie zitierst.
Bevor du dich festlegst
- Einrichtung
- git clone, dann ./modchip chat unter Linux oder macOS; ./modchip download-bin wählt das AVX-512- oder AVX2-Binary und prüft dessen SHA-256. Windows braucht einen MinGW-w64-Build per PowerShell-Skript. Die Modelldownloads umfassen 13,30 GiB für Nemotron und rund 57 GiB für DeepSeek-V4-Flash.
- Integrationen
- Der OpenAI-kompatible Server von llama.cpp auf Port 8080, ein Gateway, das Claude Code als Anthropic-Endpunkt anspricht, ein Web-Chat unter 127.0.0.1:8787 und Downloads der GGUF-Dateien von Synchopate über Hugging Face.
- Daten und Datenschutz
- Läuft lokal. Das Gateway bindet an 127.0.0.1 und verlangt einen Schlüssel nur, wenn GATEWAY_API_KEY gesetzt ist. ./modchip claude setzt einen Platzhalterschlüssel für Anthropic und schaltet den nicht notwendigen Datenverkehr von Claude Code ab; Berechtigungsabfragen überspringt es nur mit MODCHIP_CLAUDE_SKIP_PERMS=1.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Kosten sind ein Rechner mit 64 GB schnellem Speicher. Die Geschwindigkeit skaliert mit der Speicherbandbreite: Rund 75 GB/s bei Dual-Channel-DDR5 ergeben etwa 9 Tokens pro Sekunde mit dem 284B-Modell, und das Projekt meldet 111,62 Tokens pro Sekunde für das 30B-Modell auf einem Threadripper mit 8 Kanälen.
- Grenzen
- Gemessen ist der Fall einer Anfrage zur Zeit. Der volle Kontext von 256K beim 284B-Modell braucht einen Rechner mit 64 GB ohne Desktop und mit Swap, oder 96 GB und mehr. Die eigenen Formate brauchen AVX-512 VBMI für volle Geschwindigkeit und laden in keiner anderen Laufzeit.
Was gut ist
- DeepSeek-V4-Flash 284B in 56,93 GiB, vollständig in 64 GB RAM
- Rund 9 Tokens pro Sekunde auf einer Desktop-CPU ohne GPU
- Veröffentlicht Perplexität und Qualitätsverlust neben den Geschwindigkeitswerten
- Vorgebaute Linux-Binaries mit Prüfsummen; Builds für Apple Metal und Windows
Was nicht
- Dateien laden nur in diesem Fork, nicht in unverändertem llama.cpp, Ollama oder LM Studio
- Perplexität im eigenen Test 60,8% über dem unquantisierten 284B-Modell
- Lässt auf einem 64-GB-Desktop wenig Speicher frei
- Zwei Wochen alt, ein Hauptmaintainer, mehrere Releases am Tag
Am besten für
Enthusiasten mit einem 64-GB-Desktop mit AVX-512, die DeepSeek-V4-Flash 284B komplett auf der CPU ausführen wollen und ein Dateiformat eines einzelnen Projekts akzeptieren.
Alternativen zu llama-modchip
llama-modchip: häufige Fragen
- Lohnt sich llama-modchip?
- Ein beeindruckendes Kunststück der Verdichtung, das ein 284B-Modell mit rund 9 Tokens pro Sekunde auf einem 64-GB-Desktop laufen lässt, in Dateiformaten, die sonst nichts lesen kann, und mit echtem Qualitätsverlust. Wir bewerten es mit 3.6 von 5.
- Was kostet llama-modchip?
- Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.
- Welche Nachteile hat llama-modchip?
- Dateien laden nur in diesem Fork, nicht in unverändertem llama.cpp, Ollama oder LM Studio; Perplexität im eigenen Test 60,8% über dem unquantisierten 284B-Modell; Lässt auf einem 64-GB-Desktop wenig Speicher frei; Zwei Wochen alt, ein Hauptmaintainer, mehrere Releases am Tag.
- Für wen eignet sich llama-modchip?
- Enthusiasten mit einem 64-GB-Desktop mit AVX-512, die DeepSeek-V4-Flash 284B komplett auf der CPU ausführen wollen und ein Dateiformat eines einzelnen Projekts akzeptieren.
- Was kostet llama-modchip für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Kosten sind ein Rechner mit 64 GB schnellem Speicher. Die Geschwindigkeit skaliert mit der Speicherbandbreite: Rund 75 GB/s bei Dual-Channel-DDR5 ergeben etwa 9 Tokens pro Sekunde mit dem 284B-Modell, und das Projekt meldet 111,62 Tokens pro Sekunde für das 30B-Modell auf einem Threadripper mit 8 Kanälen.
- Ist llama-modchip sicher für Firmendaten?
- Läuft lokal. Das Gateway bindet an 127.0.0.1 und verlangt einen Schlüssel nur, wenn GATEWAY_API_KEY gesetzt ist. ./modchip claude setzt einen Platzhalterschlüssel für Anthropic und schaltet den nicht notwendigen Datenverkehr von Claude Code ab; Berechtigungsabfragen überspringt es nur mit MODCHIP_CLAUDE_SKIP_PERMS=1.
- Was sind die besten Alternativen zu llama-modchip?
- Die nächsten Alternativen, die wir getestet haben, sind colibri, llama.cpp und Ollama.
Antworten geprüft am 13. Nov. 2026.