Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

FreeToken

Un moteur de service pour très grands modèles à mélange d'experts sur GPU NVIDIA grand public, qui répartit les experts entre GPU, CPU et mémoire système.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

4.0/5

FreeToken est la tentative la plus sérieuse à ce jour de faire tourner des modèles MoE de la classe 284B sur un PC de jeu, portée par une équipe de recherche crédible, mais il a quatre mois, ne fonctionne qu'avec NVIDIA et traîne 492 tickets ouverts.

Qu’est-ce que FreeToken ?

FreeToken fait tourner des modèles ouverts à mélange d'experts (MoE), ceux où seuls quelques-uns des nombreux sous-réseaux experts s'activent pour chaque token, sur des ordinateurs personnels plutôt que sur des serveurs de centre de données. Il traite le GPU, le CPU, la RAM système et les liaisons entre eux comme un seul ensemble : les experts les plus sollicités sont mis en cache sur le GPU, les autres sont diffusés ou calculés sur le CPU, et le partage entre cache d'experts et mémoire KV peut changer en cours d'exécution sans redémarrage.

L'article arXiv qui l'accompagne, dont les 11 auteurs comptent Ion Stoica, Matei Zaharia, Song Han et Kurt Keutzer, revendique plus de 20 modèles MoE pris en charge et indique servir un modèle de 35B sur un portable, un modèle de 284B sur un PC de jeu et le GLM-5.2 de 753B sur un seul GPU de station de travail. FreeToken expose des API compatibles OpenAI et Anthropic, peut configurer et lancer Claude Code, Codex ou OpenCode contre lui-même, et dispose d'une application de bureau pour Windows et Linux. Il est sous licence Apache 2.0, a été créé le 20 juillet 2026, compte environ 17 564 étoiles et a publié la v0.2.2 le 9 novembre 2026.

FreeToken vaut-il le coup ?

Faire tourner chez soi un modèle ouvert de taille frontière voulait dire soit une quantification lourde dans llama.cpp, soit une progression laborieuse dans la mémoire système. L'argument de FreeToken est que les modèles MoE ouvrent une troisième voie : comme chaque token ne touche que quelques experts, un GPU grand public peut garder les plus actifs pendant que le CPU sert les autres, à condition que le moteur redécide sans cesse lesquels sont lesquels. Sa politique adaptée à la bande passante, son cache LRU global d'experts et son prefill en streaming à double tampon sont conçus pour cela, et l'article, soumis le 17 août 2026, fait état d'un modèle de 753B sur un GPU de station de travail et de 284B sur un PC de jeu.

L'intégration aux agents est l'atout pratique. FreeToken sert à la fois les API d'OpenAI et d'Anthropic : ft launch claude écrit la configuration de fournisseur de Claude Code, installe la CLI si elle manque et la pointe vers votre serveur local. Des points de contrôle sémantiques enregistrent l'état récurrent et le cache KV aux frontières des appels d'outils et des blocs de réflexion, si bien qu'un agent qui modifie son propre contexte n'oblige pas à recalculer tout le prompt. La v0.2.2 a ajouté le décodage spéculatif ; sur une H100, il a fait passer Qwen3.8-27B de 50,1 à 215,0 tokens par seconde avec un brouillon DFlash 2, soit 4,29 fois plus, mais sur une carte de centre de données, pas sur le matériel grand public qui donne son nom au projet.

Les réglages de sécurité par défaut sont raisonnables. Le serveur écoute sur 127.0.0.1, port 1919, et aucune clé d'API n'est exigée tant que vous ne définissez pas --api-key ou FREETOKEN_API_KEY ; mettez-en une avant d'écouter sur une autre adresse. Les poids des modèles viennent de Hugging Face ou de fichiers locaux.

Les limites sont celles d'un projet jeune qui avance vite. Seules les séries NVIDIA RTX 30, 40 et 50 sont prises en charge : rien pour les Mac ni pour les cartes AMD. Le dépôt a été créé le 20 juillet 2026 et compte 492 tickets ouverts, la documentation contient déjà un guide pour réparer d'anciens checkpoints FTW, et le décodage spéculatif ne fonctionne pas encore au-delà d'un GPU en parallélisme de tenseurs. Face à Ollama, il est bien plus capable avec d'énormes MoE et bien moins abouti pour tout le reste.

Là où il fait la différence

  • Un développeur avec un PC de jeu RTX série 50 et 128 Go de RAM

    Utiliser Claude Code avec un grand modèle ouvert sans envoyer son code à un fournisseur

    Lancez ft serve avec un checkpoint MoE pris en charge, puis ft launch claude pour relier Claude Code au point d'accès local compatible Anthropic. Pas de facture de tokens ; la vitesse dépend du nombre d'experts qui tiennent en VRAM.

  • Une ingénieure de recherche qui mesure l'inférence locale pour un rapport interne

    Comparer le service MoE sur matériel grand public avec llama.cpp

    Lancez ft bench bw pour que la politique hybride CPU-GPU mesure la machine, servez le même GGUF dans les deux moteurs et comparez avec le rapport de temps activé.

Avant de vous engager

Mise en route
Installer l'application de bureau Windows ou Linux depuis flashml.ai, ou uv pip install "freetoken[accel]" ; puis ft serve --model avec un identifiant Hugging Face, un dossier local ou un GGUF. Le serveur est prêt quand il affiche 127.0.0.1:1919.
Intégrations
API OpenAI (/v1/chat/completions, /v1/responses) et API Anthropic (/v1/messages) ; ft launch pour Claude Code, Codex, OpenCode, OpenClaw, Hermes et DeepSeek Harness ; checkpoints GGUF, MXFP4, NVFP4, FP8 et BF16 ; un chat en terminal.
Données et confidentialité
Tout tourne sur votre machine. Le serveur écoute par défaut sur 127.0.0.1:1919 sans clé d'API tant que vous n'en définissez pas : ajoutez-en une avant de l'exposer sur un réseau. ft launch réécrit la configuration de fournisseur de l'agent choisi ; --dry-run montre d'abord les changements.
Coût à grande échelle
Aucun coût de licence. La facture, c'est le matériel : RAM système et GPU NVIDIA récent à la taille du modèle, plus l'électricité.
Limites
NVIDIA RTX séries 30, 40 et 50 uniquement ; décodage spéculatif indisponible au-delà de TP 1 et pour certains modèles à attention fenêtrée ; 492 tickets ouverts ; Windows et WSL limitent la mémoire épinglée, ce qui impose le réglage automatique des couches CPU.

Les points forts

  • Fait tourner de très grands MoE en répartissant les experts entre GPU, CPU et RAM
  • API OpenAI et Anthropic, configuration en une commande pour Claude Code, Codex et OpenCode
  • Cache conscient des modifications de contexte, qui évite de recalculer les prompts d'agents
  • Écoute sur localhost par défaut ; clé d'API optionnelle sur toutes les routes

Les points faibles

  • NVIDIA RTX séries 30, 40 et 50 uniquement ; ni Mac ni AMD
  • 492 tickets ouverts quatre mois après le lancement
  • Les gains phares ont été mesurés sur une H100, pas sur des cartes grand public
  • La documentation a déjà besoin d'un guide pour réparer d'anciens checkpoints

Idéal pour

Développeurs dotés d'un GPU NVIDIA récent, de jeu ou de station de travail, qui veulent faire tourner en local de très grands MoE ouverts derrière leurs agents de code.

Alternatives à FreeToken

FreeToken : questions fréquentes

FreeToken vaut-il le coup ?
FreeToken est la tentative la plus sérieuse à ce jour de faire tourner des modèles MoE de la classe 284B sur un PC de jeu, portée par une équipe de recherche crédible, mais il a quatre mois, ne fonctionne qu'avec NVIDIA et traîne 492 tickets ouverts. Nous lui donnons 4.0 sur 5.
Combien coûte FreeToken ?
Gratuit et open source (Apache 2.0), application de bureau comprise. Votre seul coût est le matériel et l'électricité.
Quels sont les inconvénients de FreeToken ?
NVIDIA RTX séries 30, 40 et 50 uniquement ; ni Mac ni AMD; 492 tickets ouverts quatre mois après le lancement; les gains phares ont été mesurés sur une H100, pas sur des cartes grand public; la documentation a déjà besoin d'un guide pour réparer d'anciens checkpoints.
À qui s’adresse FreeToken ?
Développeurs dotés d'un GPU NVIDIA récent, de jeu ou de station de travail, qui veulent faire tourner en local de très grands MoE ouverts derrière leurs agents de code.
Combien coûte FreeToken pour une équipe ou en production ?
Aucun coût de licence. La facture, c'est le matériel : RAM système et GPU NVIDIA récent à la taille du modèle, plus l'électricité.
FreeToken est-il sûr pour les données de l’entreprise ?
Tout tourne sur votre machine. Le serveur écoute par défaut sur 127.0.0.1:1919 sans clé d'API tant que vous n'en définissez pas : ajoutez-en une avant de l'exposer sur un réseau. ft launch réécrit la configuration de fournisseur de l'agent choisi ; --dry-run montre d'abord les changements.
Quelles sont les meilleures alternatives à FreeToken ?
Les alternatives les plus proches que nous avons testées sont llama.cpp, Ollama, AirLLM et SGLang.

Réponses vérifiées le 21 nov. 2026.

Vous éditez FreeToken ? Affichez cette note sur votre siteFreeToken noté 4.0 sur 5 par ReviewRamble