Qu’est-ce que llama-modchip ?
llama-modchip est un ensemble de correctifs pour llama.cpp, un quantificateur et un script d'enveloppe, ./modchip, pour exécuter de grands modèles mixture-of-experts (MoE) sur le seul processeur. Un modèle MoE n'utilise que quelques experts par token, si bien que sur un CPU la vitesse dépend surtout du nombre d'octets de poids à lire en mémoire par token. Le projet réduit ces octets avec deux formats maison : Fractal-64 à 3,75 bits par poids et LUT-VQ3-64 à 3,00, décodés avec des instructions de recherche AVX-512 sur les puces AMD et Intel récentes, avec des chemins AVX2 et Apple Metal.
Sa version phare est DeepSeek-V4-Flash-0731, un modèle de 284,33B paramètres dont 13,17B actifs par token, en fichiers de 56,40 à 56,93 Gio qui tiennent dans une machine de 64 Go. Il propose aussi NVIDIA Nemotron-3.5-30B-A3B en 13,30 Gio pour les portables de 16 à 32 Go. Le script ./modchip télécharge un serveur précompilé, choisit un modèle selon votre RAM et lance un chat en terminal, un chat web, un benchmark ou Claude Code relié au moteur local.
Les fichiers ne se chargent que dans cet environnement. LUT-VQ3-64 ajoute un nouveau type de tenseur, le 43, et Fractal-64 réutilise le numéro de type 42 déjà attribué dans llama.cpp avec une autre structure ; llama.cpp, Ollama, vLLM et LM Studio non modifiés les refusent donc. Le projet est sous Apache 2.0, a démarré le 29 octobre 2026, et presque tous ses commits viennent d'un seul développeur.
llama-modchip vaut-il le coup ?
llama-modchip fait une promesse précise et la documente en grande partie : DeepSeek-V4-Flash, 284B paramètres, sur un ordinateur ordinaire de 64 Go sans carte graphique. Sur un Zen 5 à 16 cœurs avec de la DDR5-5600 en double canal, le README annonce 8,66 tokens par seconde pour la version MaxQ-Fractal par défaut générant une réponse, 36,1 à 41,1 tokens par seconde pour lire un prompt à froid, et des pointes jusqu'à 25,3 tokens par seconde avec son décodeur spéculatif. Le processus occupe 57,54 à 58,13 Gio des quelque 62,5 Gio utilisables sur un Linux de 64 Go, ce qui laisse très peu de place à un navigateur.
Le coût en qualité figure dans ses propres tableaux, ce qui est à son honneur. Sur le texte wiki-alt d'AtomicChat, la perplexité de la version 284B est de 7,2977 contre 4,5381 pour le modèle non quantifié, soit 60,8% de plus, et elle obtient 70 sur 80 au test fonctionnel du projet. La version Nemotron 30B reste plus proche de l'original : perplexité de 7,4400 contre 6,9582 sur WikiText-2, et 100 sur 100 au même test. Ce sont les mesures du mainteneur, sur une suite de tests qu'il a écrite ; les retours extérieurs sont pour l'instant des soumissions de vitesse au classement, comme 8,11 tokens par seconde sur un Ryzen 9 9950X3D.
Les formats sont le principal inconvénient pratique. Comme Fractal-64 reprend un numéro de type de tenseur existant, un fichier peut être pris pour un fichier officiel et échouer sur une erreur de taille au lieu d'un message clair, et vous dépendez de ce fork pour suivre le rythme de llama.cpp. Les binaires Linux précompilés sont accompagnés de sommes SHA-256, mais celles-ci se trouvent dans la même release que les fichiers ; elles protègent d'un téléchargement corrompu, pas d'une release compromise. Sous Windows, le script de compilation s'exécute avec la stratégie d'exécution PowerShell en Bypass.
./modchip claude relie Claude Code à la passerelle locale avec une clé factice. Dans le script actuel, il n'ajoute --dangerously-skip-permissions, qui laisse l'agent exécuter des commandes sans demander, que si MODCHIP_CLAUDE_SKIP_PERMS=1 est défini ; laissez cette variable vide. La passerelle et le chat web écoutent sur 127.0.0.1 et ne demandent une clé que si GATEWAY_API_KEY est défini. Deux modèles abliterated facultatifs, dont les refus ont été retirés, ne s'installent qu'après une confirmation explicite.
Pour la plupart des détenteurs de 64 Go, un modèle plus petit dans un GGUF standard sous llama.cpp ou Ollama sera plus rapide, mieux testé et portable. colibri prend l'autre voie vers les très gros MoE : il lit les experts depuis le disque au lieu de les compresser pour tenir en RAM. llama-modchip convient au passionné qui veut précisément le modèle de 284B résident en mémoire et accepte un format lié à un seul projet.
Là où il fait la différence
Un développeur avec un ordinateur Ryzen 9000 de 64 Go, sans GPU dédié
Faire tourner en local un modèle ouvert de taille frontière pour des questions de code confidentielles
Clonez le dépôt et lancez ./modchip chat ; il récupère le binaire AVX-512 adapté et le modèle MaxQ-Fractal de 56,93 Gio. Comptez environ 9 tokens par seconde avec un contexte de 32 768 tokens, fermez les autres applications gourmandes et activez zram si le système commence à swapper.
Une étudiante avec un portable de 32 Go
Brancher Claude Code sur un modèle local sans facture d'API
La version Nemotron-3.5-30B-A3B par défaut, de 13,30 Gio, tourne à environ 24 tokens par seconde sur la machine de test Zen 5 du projet. ./modchip claude règle ANTHROPIC_BASE_URL sur la passerelle locale ; laissez MODCHIP_CLAUDE_SKIP_PERMS non défini pour que Claude Code demande toujours avant d'exécuter des commandes.
Un chercheur en quantification
Comparer des formats MoE à quantification vectorielle avec Q2_K et Q3_K
Le README et les fichiers de benchmark donnent le rapport signal sur bruit, la similarité cosinus, la perplexité et la divergence KL de chaque format sur les mêmes tenseurs, et ./modchip quantize convertit vos propres fichiers GGUF. Les résultats sont ceux du mainteneur ; refaites-les avant de les citer.
Avant de vous engager
- Mise en route
- git clone, puis ./modchip chat sous Linux ou macOS ; ./modchip download-bin choisit le binaire AVX-512 ou AVX2 et vérifie son SHA-256. Windows exige une compilation MinGW-w64 via un script PowerShell. Les téléchargements de modèles font 13,30 Gio pour Nemotron et environ 57 Gio pour DeepSeek-V4-Flash.
- Intégrations
- Le serveur compatible OpenAI de llama.cpp sur le port 8080, une passerelle que Claude Code interroge comme un point d'accès Anthropic, un chat web sur 127.0.0.1:8787 et le téléchargement sur Hugging Face des fichiers GGUF de Synchopate.
- Données et confidentialité
- Fonctionne en local. La passerelle écoute sur 127.0.0.1 et n'exige une clé que si GATEWAY_API_KEY est défini. ./modchip claude définit une clé Anthropic factice et coupe le trafic non essentiel de Claude Code ; il ne saute les demandes de permission qu'avec MODCHIP_CLAUDE_SKIP_PERMS=1.
- Coût à grande échelle
- Le logiciel est gratuit ; le coût, c'est une machine de 64 Go à mémoire rapide. La vitesse suit la bande passante mémoire : environ 75 GB/s en DDR5 double canal donnent à peu près 9 tokens par seconde sur le modèle 284B, et le projet annonce 111,62 tokens par seconde pour le modèle 30B sur un Threadripper à 8 canaux.
- Limites
- Le cas mesuré est une requête à la fois. Le contexte complet de 256K sur le modèle 284B demande une machine de 64 Go sans bureau avec swap, ou 96 Go et plus. Les formats maison exigent AVX-512 VBMI pour la pleine vitesse et ne se chargent dans aucun autre environnement.
Les points forts
- DeepSeek-V4-Flash 284B en 56,93 Gio, résident dans 64 Go de RAM
- Environ 9 tokens par seconde sur un processeur de bureau sans GPU
- Publie la perplexité et la perte de qualité à côté des chiffres de vitesse
- Binaires Linux précompilés avec sommes de contrôle ; versions Apple Metal et Windows
Les points faibles
- Les fichiers ne se chargent que dans ce fork, pas dans llama.cpp, Ollama ou LM Studio non modifiés
- Perplexité supérieure de 60,8% à celle du modèle 284B non quantifié sur son propre test
- Laisse peu de mémoire libre sur un ordinateur de 64 Go
- Deux semaines d'existence, un mainteneur principal et plusieurs releases par jour
Idéal pour
Passionnés équipés d'un ordinateur AVX-512 de 64 Go qui veulent exécuter DeepSeek-V4-Flash 284B entièrement sur le CPU et acceptent un format de fichier propre à un projet.
Alternatives à llama-modchip
llama-modchip : questions fréquentes
- llama-modchip vaut-il le coup ?
- Un tour de force de compression qui fait tourner un modèle de 284B sur un ordinateur de 64 Go à environ 9 tokens par seconde, dans des formats que rien d'autre ne sait lire et avec une vraie perte de qualité. Nous lui donnons 3.6 sur 5.
- Combien coûte llama-modchip ?
- Gratuit et open source (Apache 2.0). Chaque modèle garde sa propre licence.
- Quels sont les inconvénients de llama-modchip ?
- Les fichiers ne se chargent que dans ce fork, pas dans llama.cpp, Ollama ou LM Studio non modifiés; perplexité supérieure de 60,8% à celle du modèle 284B non quantifié sur son propre test; laisse peu de mémoire libre sur un ordinateur de 64 Go; deux semaines d'existence, un mainteneur principal et plusieurs releases par jour.
- À qui s’adresse llama-modchip ?
- Passionnés équipés d'un ordinateur AVX-512 de 64 Go qui veulent exécuter DeepSeek-V4-Flash 284B entièrement sur le CPU et acceptent un format de fichier propre à un projet.
- Combien coûte llama-modchip pour une équipe ou en production ?
- Le logiciel est gratuit ; le coût, c'est une machine de 64 Go à mémoire rapide. La vitesse suit la bande passante mémoire : environ 75 GB/s en DDR5 double canal donnent à peu près 9 tokens par seconde sur le modèle 284B, et le projet annonce 111,62 tokens par seconde pour le modèle 30B sur un Threadripper à 8 canaux.
- llama-modchip est-il sûr pour les données de l’entreprise ?
- Fonctionne en local. La passerelle écoute sur 127.0.0.1 et n'exige une clé que si GATEWAY_API_KEY est défini. ./modchip claude définit une clé Anthropic factice et coupe le trafic non essentiel de Claude Code ; il ne saute les demandes de permission qu'avec MODCHIP_CLAUDE_SKIP_PERMS=1.
- Quelles sont les meilleures alternatives à llama-modchip ?
- Les alternatives les plus proches que nous avons testées sont colibri, llama.cpp et Ollama.
Réponses vérifiées le 13 nov. 2026.