¿Qué es llama-modchip?
llama-modchip es un conjunto de parches para llama.cpp, un cuantizador y un script envoltorio, ./modchip, para ejecutar grandes modelos mixture-of-experts (MoE) solo con la CPU. Un modelo MoE usa pocos de sus expertos para cada token, así que en una CPU la velocidad depende sobre todo de cuántos bytes de pesos hay que leer de memoria por token. El proyecto reduce esos bytes con dos formatos propios: Fractal-64, a 3.75 bits por peso, y LUT-VQ3-64, a 3.00, decodificados con instrucciones de búsqueda AVX-512 en chips recientes de AMD e Intel, con rutas para AVX2 y Apple Metal.
Su versión principal es DeepSeek-V4-Flash-0731, un modelo de 284.33B parámetros con 13.17B activos por token, en archivos de 56.40 a 56.93 GiB que caben en una máquina de 64 GB. También ofrece NVIDIA Nemotron-3.5-30B-A3B en 13.30 GiB para portátiles de 16 a 32 GB. El script ./modchip descarga un servidor precompilado, elige un modelo según tu RAM y abre un chat en la terminal, un chat web, un benchmark o Claude Code conectado al motor local.
Los archivos solo cargan en este entorno. LUT-VQ3-64 añade un tipo de tensor nuevo, el 43, y Fractal-64 reutiliza el número de tipo 42 que ya existe en llama.cpp con otra disposición, así que llama.cpp, Ollama, vLLM y LM Studio sin modificar los rechazan. El proyecto usa Apache 2.0, empezó el 29 de octubre de 2026 y casi todos sus commits son de un solo desarrollador.
¿Merece la pena llama-modchip?
llama-modchip hace una promesa concreta y la documenta en buena parte: DeepSeek-V4-Flash, 284B parámetros, en un ordenador corriente de 64 GB sin tarjeta gráfica. En un Zen 5 de 16 núcleos con DDR5-5600 de doble canal, el README da 8.66 tokens por segundo para la versión MaxQ-Fractal por defecto generando una respuesta, de 36.1 a 41.1 tokens por segundo leyendo un prompt en frío y ráfagas de hasta 25.3 tokens por segundo con su decodificador especulativo. El proceso ocupa de 57.54 a 58.13 GiB de los unos 62.5 GiB que puede usar un Linux de 64 GB, lo que deja muy poco para un navegador.
El coste en calidad está en sus propias tablas, algo que le honra. Con el texto wiki-alt de AtomicChat, la perplejidad de la versión de 284B es 7.2977 frente a 4.5381 del modelo sin cuantizar, un 60.8% más, y saca 70 de 80 en la prueba funcional del proyecto. La versión de Nemotron 30B se acerca más al original: perplejidad de 7.4400 frente a 6.9582 en WikiText-2, y 100 de 100 en la misma prueba. Son mediciones del mantenedor con un conjunto de pruebas que escribió él; los informes externos hasta ahora son envíos de velocidad a la clasificación, como 8.11 tokens por segundo en un Ryzen 9 9950X3D.
Los formatos son la principal pega práctica. Como Fractal-64 ocupa un número de tipo de tensor ya existente, un archivo puede confundirse con uno oficial y fallar con un error de tamaño en vez de un mensaje claro, y dependes de que este fork siga el ritmo de llama.cpp. Los binarios precompilados para Linux traen sumas SHA-256, pero están en la misma release que los archivos, así que protegen de una descarga rota, no de una release comprometida. En Windows, el script de compilación se ejecuta con la política de ejecución de PowerShell en Bypass.
./modchip claude conecta Claude Code a la pasarela local con una clave ficticia. En el script actual añade --dangerously-skip-permissions, que deja al agente ejecutar comandos sin preguntar, solo si MODCHIP_CLAUDE_SKIP_PERMS=1 está definido; déjalo sin definir. La pasarela y el chat web escuchan en 127.0.0.1 y piden una clave solo si GATEWAY_API_KEY está definido. Dos modelos opcionales abliterated, con las negativas eliminadas, solo se instalan tras una confirmación explícita.
Para la mayoría de quienes tienen 64 GB, un modelo más pequeño en un GGUF estándar con llama.cpp u Ollama será más rápido, estará mejor probado y será portátil. colibri toma el otro camino hacia los MoE enormes: lee los expertos del disco en vez de comprimirlos para que quepan en la RAM. llama-modchip encaja con el aficionado que quiere precisamente el modelo de 284B residente en memoria y acepta un formato atado a un solo proyecto.
Dónde se gana su sitio
Un desarrollador con un Ryzen 9000 de 64 GB y sin GPU dedicada
Ejecutar en local un modelo abierto de tamaño frontera para preguntas de programación privadas
Clona el repositorio y ejecuta ./modchip chat; descarga el binario AVX-512 adecuado y el modelo MaxQ-Fractal de 56.93 GiB. Cuenta con unos 9 tokens por segundo y un contexto de 32,768 tokens, cierra otras aplicaciones pesadas y activa zram si el sistema empieza a usar swap.
Una estudiante con un portátil de 32 GB
Conectar Claude Code a un modelo local sin factura de API
La versión por defecto de Nemotron-3.5-30B-A3B, de 13.30 GiB, va a unos 24 tokens por segundo en la máquina Zen 5 de pruebas del proyecto. ./modchip claude pone ANTHROPIC_BASE_URL en la pasarela local; deja MODCHIP_CLAUDE_SKIP_PERMS sin definir para que Claude Code siga preguntando antes de ejecutar comandos.
Un investigador en cuantización
Comparar formatos MoE de cuantización vectorial con Q2_K y Q3_K
El README y los archivos de benchmark dan la relación señal-ruido, la similitud coseno, la perplejidad y la divergencia KL de cada formato sobre los mismos tensores, y ./modchip quantize convierte tus propios archivos GGUF. Los resultados son del mantenedor, así que repítelos antes de citarlos.
Antes de decidirte
- Puesta en marcha
- git clone y luego ./modchip chat en Linux o macOS; ./modchip download-bin elige el binario AVX-512 o AVX2 y comprueba su SHA-256. Windows necesita una compilación con MinGW-w64 mediante un script de PowerShell. Las descargas de modelos son de 13.30 GiB para Nemotron y unos 57 GiB para DeepSeek-V4-Flash.
- Integraciones
- El servidor compatible con OpenAI de llama.cpp en el puerto 8080, una pasarela con la que Claude Code habla como con un endpoint de Anthropic, un chat web en 127.0.0.1:8787 y descargas de Hugging Face de los archivos GGUF de Synchopate.
- Datos y privacidad
- Funciona en local. La pasarela escucha en 127.0.0.1 y exige una clave solo si GATEWAY_API_KEY está definido. ./modchip claude pone una clave de Anthropic ficticia y desactiva el tráfico no esencial de Claude Code; solo se salta las peticiones de permiso con MODCHIP_CLAUDE_SKIP_PERMS=1.
- Coste a escala
- El software es gratuito; el coste es una máquina de 64 GB con memoria rápida. La velocidad crece con el ancho de banda de memoria: unos 75 GB/s en DDR5 de doble canal dan unos 9 tokens por segundo con el modelo de 284B, y el proyecto da 111.62 tokens por segundo para el modelo de 30B en un Threadripper de 8 canales.
- Límites
- Lo medido es una petición cada vez. El contexto completo de 256K con el modelo de 284B necesita una máquina de 64 GB sin escritorio con swap, o 96 GB o más. Los formatos propios necesitan AVX-512 VBMI para ir a toda velocidad y no cargan en otros entornos.
Lo bueno
- DeepSeek-V4-Flash 284B en 56.93 GiB, residente en 64 GB de RAM
- Unos 9 tokens por segundo en la CPU de un ordenador de sobremesa sin GPU
- Publica la perplejidad y la pérdida de calidad junto a las cifras de velocidad
- Binarios precompilados para Linux con sumas de control; versiones para Apple Metal y Windows
Lo malo
- Los archivos solo cargan en este fork, no en llama.cpp, Ollama ni LM Studio sin modificar
- Perplejidad un 60.8% superior a la del modelo de 284B sin cuantizar en su propia prueba
- Deja poca memoria libre en un ordenador de 64 GB
- Tiene dos semanas, un mantenedor principal y varias releases al día
Ideal para
Aficionados con un ordenador AVX-512 de 64 GB que quieren ejecutar DeepSeek-V4-Flash 284B entero en la CPU y aceptan un formato de archivo de un solo proyecto.
Alternativas a llama-modchip
llama-modchip: preguntas frecuentes
- ¿Merece la pena llama-modchip?
- Una proeza de compresión que ejecuta un modelo de 284B en un ordenador de 64 GB a unos 9 tokens por segundo, en formatos de archivo que nada más puede leer y con una pérdida de calidad real. Le damos un 3.6 sobre 5.
- ¿Cuánto cuesta llama-modchip?
- Gratuito y de código abierto (Apache 2.0). Cada modelo conserva su propia licencia.
- ¿Qué inconvenientes tiene llama-modchip?
- Los archivos solo cargan en este fork, no en llama.cpp, Ollama ni LM Studio sin modificar; perplejidad un 60.8% superior a la del modelo de 284B sin cuantizar en su propia prueba; deja poca memoria libre en un ordenador de 64 GB; tiene dos semanas, un mantenedor principal y varias releases al día.
- ¿Para quién es llama-modchip?
- Aficionados con un ordenador AVX-512 de 64 GB que quieren ejecutar DeepSeek-V4-Flash 284B entero en la CPU y aceptan un formato de archivo de un solo proyecto.
- ¿Cuánto cuesta llama-modchip para un equipo o en producción?
- El software es gratuito; el coste es una máquina de 64 GB con memoria rápida. La velocidad crece con el ancho de banda de memoria: unos 75 GB/s en DDR5 de doble canal dan unos 9 tokens por segundo con el modelo de 284B, y el proyecto da 111.62 tokens por segundo para el modelo de 30B en un Threadripper de 8 canales.
- ¿Es llama-modchip seguro para los datos de la empresa?
- Funciona en local. La pasarela escucha en 127.0.0.1 y exige una clave solo si GATEWAY_API_KEY está definido. ./modchip claude pone una clave de Anthropic ficticia y desactiva el tráfico no esencial de Claude Code; solo se salta las peticiones de permiso con MODCHIP_CLAUDE_SKIP_PERMS=1.
- ¿Cuáles son las mejores alternativas a llama-modchip?
- Las alternativas más cercanas que hemos analizado son colibri, llama.cpp y Ollama.
Respuestas comprobadas el 13 nov 2026.