Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

FreeToken

Um motor para servir modelos de mistura de especialistas muito grandes em GPUs NVIDIA de consumo, dividindo os especialistas entre GPU, CPU e memória do sistema.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

4.0/5

FreeToken é a tentativa mais séria até agora de rodar modelos MoE da classe de 284B num PC gamer, com o respaldo de uma equipe de pesquisa crível, mas tem quatro meses, só funciona com NVIDIA e carrega 492 issues abertas.

O que é FreeToken?

FreeToken roda modelos abertos de mistura de especialistas (MoE), aqueles em que só alguns dos muitos sub-redes especialistas são acionados a cada token, em computadores pessoais em vez de servidores de data center. Ele trata GPU, CPU, RAM do sistema e as conexões entre eles como um único recurso: os especialistas mais usados ficam em cache na GPU, o resto é transmitido ou calculado na CPU, e a divisão entre cache de especialistas e memória KV pode mudar durante a execução sem reiniciar.

O artigo do arXiv que o acompanha, cujos 11 autores incluem Ion Stoica, Matei Zaharia, Song Han e Kurt Keutzer, afirma suportar mais de 20 modelos MoE e relata servir um modelo de 35B num notebook, um de 284B num PC gamer e o GLM-5.2 de 753B numa única GPU de workstation. O FreeToken expõe APIs compatíveis com OpenAI e Anthropic, consegue configurar e iniciar Claude Code, Codex ou OpenCode apontando para si mesmo e tem um app de desktop para Windows e Linux. Tem licença Apache 2.0, foi criado em 20 de julho de 2026, tem cerca de 17.564 estrelas e lançou a v0.2.2 em 9 de novembro de 2026.

FreeToken vale a pena?

Rodar em casa um modelo aberto do tamanho dos de fronteira significava ou quantizar pesado no llama.cpp ou se arrastar pela memória do sistema. O argumento do FreeToken é que os modelos MoE abrem um terceiro caminho: como cada token toca só alguns especialistas, uma GPU de consumo pode guardar os mais requisitados enquanto a CPU atende o resto, desde que o motor fique redecidindo quais são quais. A política adaptativa à largura de banda, o cache LRU global de especialistas e o prefill em streaming com buffer duplo foram feitos exatamente para isso, e o artigo, enviado em 17 de agosto de 2026, relata um modelo de 753B numa GPU de workstation e de 284B num PC gamer.

A integração com agentes é o atrativo prático. O FreeToken serve as APIs da OpenAI e da Anthropic, então ft launch claude escreve a configuração de provedor do Claude Code, instala a CLI se faltar e aponta para o seu servidor local. Pontos de controle semânticos salvam o estado recorrente e o cache KV nas fronteiras de chamadas de ferramenta e blocos de raciocínio, de modo que um agente que edita o próprio contexto não obriga a recalcular o prompt inteiro. A v0.2.2 trouxe decodificação especulativa; numa H100 ela levou o Qwen3.8-27B de 50,1 para 215,0 tokens por segundo com um rascunho DFlash 2, um ganho de 4,29 vezes, mas numa placa de data center, não no hardware de consumo que dá nome ao projeto.

Os padrões de segurança são razoáveis. O servidor escuta em 127.0.0.1, porta 1919, e a chave de API fica desligada até você definir --api-key ou FREETOKEN_API_KEY; defina uma antes de escutar em outro endereço. Os pesos dos modelos vêm do Hugging Face ou de arquivos locais.

Os limites são os de um projeto jovem e rápido. Só as séries NVIDIA RTX 30, 40 e 50 são suportadas, então não há nada para Mac nem para placas AMD. O repositório foi criado em 20 de julho de 2026 e tem 492 issues abertas, a documentação já traz um guia para reparar checkpoints FTW antigos e a decodificação especulativa ainda não funciona com paralelismo de tensores em mais de uma GPU. Diante do Ollama, é muito mais capaz com MoE enormes e muito menos polido para todo o resto.

Onde ele se destaca

  • Um desenvolvedor com um PC gamer RTX série 50 e 128 GB de RAM

    Usar o Claude Code com um modelo aberto grande sem mandar código para um provedor

    Rode ft serve com um checkpoint MoE suportado e depois ft launch claude para ligar o Claude Code ao endpoint local compatível com Anthropic. Sem conta de tokens; a velocidade depende de quantos especialistas cabem na VRAM.

  • Uma engenheira de pesquisa medindo inferência local para um relatório interno

    Comparar o serviço de MoE em hardware de consumo com o llama.cpp

    Rode ft bench bw para que a política híbrida CPU-GPU meça a máquina, sirva o mesmo GGUF nos dois motores e compare com o relatório de tempos ligado.

Antes de decidir

Configuração
Instale o app de desktop para Windows ou Linux em flashml.ai, ou uv pip install "freetoken[accel]"; depois ft serve --model com um id do Hugging Face, uma pasta local ou um GGUF. O servidor está pronto quando registra 127.0.0.1:1919.
Integrações
API da OpenAI (/v1/chat/completions, /v1/responses) e API da Anthropic (/v1/messages); ft launch para Claude Code, Codex, OpenCode, OpenClaw, Hermes e DeepSeek Harness; checkpoints GGUF, MXFP4, NVFP4, FP8 e BF16; um chat no terminal.
Dados e privacidade
Roda inteiro na sua máquina. O servidor escuta em 127.0.0.1:1919 por padrão, sem chave de API até você definir uma, então adicione uma antes de expô-lo numa rede. ft launch reescreve a configuração de provedor do agente escolhido; --dry-run mostra as mudanças antes.
Custo em escala
Sem custo de licença. A conta é o hardware: RAM do sistema e uma GPU NVIDIA recente do tamanho do modelo, mais energia.
Limites
Só NVIDIA RTX das séries 30, 40 e 50; decodificação especulativa indisponível acima de TP 1 e em alguns modelos com atenção por janelas; 492 issues abertas; Windows e WSL limitam a memória fixada, o que exige o ajuste automático de camadas na CPU.

O que é bom

  • Roda modelos MoE muito grandes dividindo os especialistas entre GPU, CPU e RAM
  • APIs da OpenAI e da Anthropic, com configuração em um comando para Claude Code, Codex e OpenCode
  • Cache que entende edições de contexto e evita recalcular prompts de agentes
  • Escuta em localhost por padrão; chave de API opcional em todas as rotas

O que não é

  • Só NVIDIA RTX das séries 30, 40 e 50; sem suporte a Mac ou AMD
  • 492 issues abertas quatro meses após o lançamento
  • Os ganhos de destaque foram medidos numa H100, não em placas de consumo
  • A documentação já precisa de um guia para reparar checkpoints antigos

Ideal para

Desenvolvedores com uma GPU NVIDIA recente, gamer ou de workstation, que querem rodar localmente modelos MoE abertos muito grandes por trás dos seus agentes de código.

Alternativas ao FreeToken

FreeToken: perguntas frequentes

FreeToken vale a pena?
FreeToken é a tentativa mais séria até agora de rodar modelos MoE da classe de 284B num PC gamer, com o respaldo de uma equipe de pesquisa crível, mas tem quatro meses, só funciona com NVIDIA e carrega 492 issues abertas. Damos nota 4.0 de 5.
Quanto custa FreeToken?
Gratuito e de código aberto (Apache 2.0), app de desktop incluído. Seu único custo é o hardware e a energia.
Quais são as desvantagens de FreeToken?
Só NVIDIA RTX das séries 30, 40 e 50; sem suporte a Mac ou AMD; 492 issues abertas quatro meses após o lançamento; os ganhos de destaque foram medidos numa H100, não em placas de consumo; a documentação já precisa de um guia para reparar checkpoints antigos.
Para quem FreeToken é indicado?
Desenvolvedores com uma GPU NVIDIA recente, gamer ou de workstation, que querem rodar localmente modelos MoE abertos muito grandes por trás dos seus agentes de código.
Quanto custa FreeToken para uma equipe ou em produção?
Sem custo de licença. A conta é o hardware: RAM do sistema e uma GPU NVIDIA recente do tamanho do modelo, mais energia.
FreeToken é seguro para dados da empresa?
Roda inteiro na sua máquina. O servidor escuta em 127.0.0.1:1919 por padrão, sem chave de API até você definir uma, então adicione uma antes de expô-lo numa rede. ft launch reescreve a configuração de provedor do agente escolhido; --dry-run mostra as mudanças antes.
Quais são as melhores alternativas ao FreeToken?
As alternativas mais próximas que analisamos são llama.cpp, Ollama, AirLLM e SGLang.

Respostas verificadas em 21 de nov. de 2026.

Você faz o FreeToken? Mostre esta nota no seu siteFreeToken com nota 4.0 de 5 no ReviewRamble