O que é llama-modchip?
llama-modchip é um conjunto de patches para o llama.cpp, um quantizador e um script de atalho, ./modchip, para rodar grandes modelos mixture-of-experts (MoE) só na CPU. Um modelo MoE usa poucos dos seus experts a cada token, então a velocidade numa CPU depende principalmente de quantos bytes de pesos precisam ser lidos da memória por token. O projeto reduz esses bytes com dois formatos próprios: Fractal-64, com 3.75 bits por peso, e LUT-VQ3-64, com 3.00, decodificados com instruções de consulta AVX-512 em chips recentes da AMD e da Intel, além de caminhos para AVX2 e Apple Metal.
A versão principal é o DeepSeek-V4-Flash-0731, um modelo com 284.33B parâmetros e 13.17B ativos por token, em arquivos de 56.40 a 56.93 GiB que cabem numa máquina de 64 GB. Também há o NVIDIA Nemotron-3.5-30B-A3B em 13.30 GiB para notebooks de 16 a 32 GB. O script ./modchip baixa um servidor pré-compilado, escolhe um modelo conforme sua RAM e abre um chat no terminal, um chat web, um benchmark ou o Claude Code ligado ao motor local.
Os arquivos só carregam neste ambiente. O LUT-VQ3-64 adiciona um novo tipo de tensor, o 43, e o Fractal-64 reaproveita o número de tipo 42 que já existe no llama.cpp com outra estrutura, então llama.cpp, Ollama, vLLM e LM Studio sem modificação os rejeitam. O projeto usa Apache 2.0, começou em 29 de outubro de 2026, e quase todos os commits são de um único desenvolvedor.
llama-modchip vale a pena?
llama-modchip faz uma promessa específica e a documenta em boa parte: DeepSeek-V4-Flash, 284B parâmetros, num desktop comum de 64 GB sem placa de vídeo. Num Zen 5 de 16 núcleos com DDR5-5600 em dual channel, o README informa 8.66 tokens por segundo para a versão padrão MaxQ-Fractal gerando uma resposta, de 36.1 a 41.1 tokens por segundo lendo um prompt a frio, e picos de até 25.3 tokens por segundo com o decodificador especulativo. O processo ocupa de 57.54 a 58.13 GiB dos cerca de 62.5 GiB que um Linux de 64 GB consegue usar, o que deixa muito pouco para um navegador.
O custo em qualidade está nas próprias tabelas, o que conta a favor. No texto wiki-alt da AtomicChat, a perplexidade da versão de 284B é 7.2977 contra 4.5381 do modelo sem quantização, 60.8% maior, e ela marca 70 de 80 no teste funcional do projeto. A versão Nemotron de 30B fica mais perto do original: perplexidade de 7.4400 contra 6.9582 no WikiText-2, e 100 de 100 no mesmo teste. São medições do mantenedor, num conjunto de testes que ele escreveu; os relatos externos até agora são envios de velocidade para o ranking, como 8.11 tokens por segundo num Ryzen 9 9950X3D.
Os formatos são a principal desvantagem prática. Como o Fractal-64 ocupa um número de tipo de tensor que já existe, um arquivo pode ser confundido com um oficial e falhar com um erro de tamanho em vez de uma mensagem clara, e você depende de este fork acompanhar o ritmo do llama.cpp. Os binários Linux pré-compilados vêm com somas SHA-256, mas elas ficam na mesma release que os arquivos; protegem contra um download corrompido, não contra uma release comprometida. No Windows, o script de compilação roda com a política de execução do PowerShell em Bypass.
./modchip claude liga o Claude Code ao gateway local com uma chave fictícia. No script atual, ele só adiciona --dangerously-skip-permissions, que deixa o agente executar comandos sem perguntar, se MODCHIP_CLAUDE_SKIP_PERMS=1 estiver definido; deixe sem definir. O gateway e o chat web escutam em 127.0.0.1 e só pedem chave se GATEWAY_API_KEY estiver definido. Dois modelos abliterated opcionais, com as recusas removidas, só são instalados após confirmação explícita.
Para a maioria de quem tem 64 GB, um modelo menor num GGUF padrão no llama.cpp ou no Ollama será mais rápido, mais testado e portátil. O colibri segue o outro caminho para MoE gigantes, lendo os experts do disco em vez de comprimi-los para caber na RAM. llama-modchip serve ao entusiasta que quer justamente o modelo de 284B residente na memória e aceita um formato preso a um único projeto.
Onde ele se destaca
Um desenvolvedor com um desktop Ryzen 9000 de 64 GB e sem GPU dedicada
Rodar localmente um modelo aberto de porte de fronteira para perguntas de programação privadas
Clone o repositório e rode ./modchip chat; ele baixa o binário AVX-512 certo e o modelo MaxQ-Fractal de 56.93 GiB. Conte com cerca de 9 tokens por segundo com contexto de 32.768 tokens, feche outros aplicativos pesados e ative o zram se o sistema começar a usar swap.
Uma estudante com um notebook de 32 GB
Ligar o Claude Code a um modelo local sem conta de API
A versão padrão do Nemotron-3.5-30B-A3B, de 13.30 GiB, roda a cerca de 24 tokens por segundo na máquina Zen 5 de testes do projeto. ./modchip claude define ANTHROPIC_BASE_URL para o gateway local; deixe MODCHIP_CLAUDE_SKIP_PERMS sem definir para o Claude Code continuar perguntando antes de executar comandos.
Um pesquisador de quantização
Comparar formatos MoE com quantização vetorial contra Q2_K e Q3_K
O README e os arquivos de benchmark trazem relação sinal-ruído, similaridade de cosseno, perplexidade e divergência KL de cada formato nos mesmos tensores, e ./modchip quantize converte seus próprios arquivos GGUF. Os resultados são do mantenedor, então repita-os antes de citar.
Antes de decidir
- Configuração
- git clone e depois ./modchip chat no Linux ou macOS; ./modchip download-bin escolhe o binário AVX-512 ou AVX2 e confere o SHA-256. O Windows precisa de uma compilação MinGW-w64 por um script PowerShell. Os downloads de modelos são de 13.30 GiB para o Nemotron e cerca de 57 GiB para o DeepSeek-V4-Flash.
- Integrações
- O servidor compatível com OpenAI do llama.cpp na porta 8080, um gateway com que o Claude Code conversa como um endpoint da Anthropic, um chat web em 127.0.0.1:8787 e downloads pelo Hugging Face dos arquivos GGUF da Synchopate.
- Dados e privacidade
- Roda localmente. O gateway escuta em 127.0.0.1 e só exige chave se GATEWAY_API_KEY estiver definido. ./modchip claude define uma chave fictícia da Anthropic e desliga o tráfego não essencial do Claude Code; só pula os pedidos de permissão com MODCHIP_CLAUDE_SKIP_PERMS=1.
- Custo em escala
- O software é gratuito; o custo é uma máquina de 64 GB com memória rápida. A velocidade acompanha a largura de banda da memória: cerca de 75 GB/s em DDR5 dual channel dão uns 9 tokens por segundo no modelo de 284B, e o projeto informa 111.62 tokens por segundo para o modelo de 30B num Threadripper de 8 canais.
- Limites
- O caso medido é uma requisição por vez. O contexto completo de 256K no modelo de 284B exige uma máquina de 64 GB sem ambiente gráfico e com swap, ou 96 GB ou mais. Os formatos próprios precisam de AVX-512 VBMI para velocidade total e não carregam em outros ambientes.
O que é bom
- DeepSeek-V4-Flash 284B em 56.93 GiB, residente em 64 GB de RAM
- Cerca de 9 tokens por segundo numa CPU de desktop sem GPU
- Publica perplexidade e perda de qualidade ao lado dos números de velocidade
- Binários Linux pré-compilados com somas de verificação; versões para Apple Metal e Windows
O que não é
- Os arquivos só carregam neste fork, não no llama.cpp, Ollama ou LM Studio sem modificação
- Perplexidade 60.8% acima do modelo de 284B sem quantização no próprio teste
- Deixa pouca memória livre num desktop de 64 GB
- Duas semanas de vida, um mantenedor principal e várias releases por dia
Ideal para
Entusiastas com um desktop AVX-512 de 64 GB que querem rodar o DeepSeek-V4-Flash 284B inteiro na CPU e aceitam um formato de arquivo de um único projeto.
Alternativas ao llama-modchip
llama-modchip: perguntas frequentes
- llama-modchip vale a pena?
- Uma façanha de compactação que roda um modelo de 284B num desktop de 64 GB a cerca de 9 tokens por segundo, em formatos de arquivo que nada mais lê e com perda real de qualidade. Damos nota 3.6 de 5.
- Quanto custa llama-modchip?
- Gratuito e de código aberto (Apache 2.0). Cada modelo mantém a própria licença.
- Quais são as desvantagens de llama-modchip?
- Os arquivos só carregam neste fork, não no llama.cpp, Ollama ou LM Studio sem modificação; perplexidade 60.8% acima do modelo de 284B sem quantização no próprio teste; deixa pouca memória livre num desktop de 64 GB; duas semanas de vida, um mantenedor principal e várias releases por dia.
- Para quem llama-modchip é indicado?
- Entusiastas com um desktop AVX-512 de 64 GB que querem rodar o DeepSeek-V4-Flash 284B inteiro na CPU e aceitam um formato de arquivo de um único projeto.
- Quanto custa llama-modchip para uma equipe ou em produção?
- O software é gratuito; o custo é uma máquina de 64 GB com memória rápida. A velocidade acompanha a largura de banda da memória: cerca de 75 GB/s em DDR5 dual channel dão uns 9 tokens por segundo no modelo de 284B, e o projeto informa 111.62 tokens por segundo para o modelo de 30B num Threadripper de 8 canais.
- llama-modchip é seguro para dados da empresa?
- Roda localmente. O gateway escuta em 127.0.0.1 e só exige chave se GATEWAY_API_KEY estiver definido. ./modchip claude define uma chave fictícia da Anthropic e desliga o tráfego não essencial do Claude Code; só pula os pedidos de permissão com MODCHIP_CLAUDE_SKIP_PERMS=1.
- Quais são as melhores alternativas ao llama-modchip?
- As alternativas mais próximas que analisamos são colibri, llama.cpp e Ollama.
Respostas verificadas em 13 de nov. de 2026.