Faire tourner des modèles d'IA géants sur un PC ordinaire : Colibri, Strata, AirLLM et FreeToken comparés

Vous pouvez désormais faire tourner un modèle de centaines de milliards de paramètres sur un PC de bureau. Savoir si vous devriez le faire tient à une question : quelles parties du modèle doivent circuler entre votre SSD, votre RAM et votre carte graphique, et à quelle fréquence. Quatre moteurs open source y répondent différemment, et la réponse décide si vous obtenez une réponse en quelques secondes ou un mot tous les quarts de minute.

Pourquoi cela fonctionne

La plupart des grands modèles ouverts sont désormais des modèles mixture-of-experts (MoE). Chacun est une foule de petits réseaux spécialisés, et pour un mot donné, seuls quelques-uns font le travail. Un modèle de 744 milliards de paramètres peut n'utiliser que quelques pour cent de ses poids par token. Si vous pouvez garder les experts sollicités près du processeur et aller chercher les autres au besoin, vous n'avez pas besoin de la mémoire d'un centre de données.

Voyez la mémoire graphique comme votre bureau, la RAM comme l'étagère derrière vous et le SSD comme la bibliothèque au bout du couloir. Chaque expert qui n'est pas sur le bureau quand on en a besoin coûte un aller-retour, et les moteurs ci-dessous sont autant de stratégies pour faire des allers-retours moins nombreux et plus courts.

Colibri : n'importe quel modèle, si vous pouvez attendre

Colibri (4.2) est un moteur en C pur qui traite le disque comme une partie de la mémoire. Il garde les poids les plus utilisés en RAM et lit les autres experts en streaming depuis un disque NVMe. Cela permet de lancer d'énormes modèles sur des machines modestes, à un prix que son README annonce franchement : GLM-5.2, un modèle de 744B, décode de 0,05 à 0,1 token par seconde à froid sur l'ordinateur portable de 25 GB où le projet a commencé, soit à peu près un mot toutes les 10 à 20 secondes. Sur un Ryzen AI Max+ 395 avec 128 GB, il atteint 1,83. C'est avec des modèles MoE plus petits qu'il devient agréable : Qwen3.6-35B-A3B tourne à 6,0 tokens par seconde sur CPU et à 30,0 avec CUDA.

Le hic : « à froid » signifie que rien n'est encore en cache, et les premiers lancements d'un gros modèle sont assez lents pour donner l'impression d'une panne. Les gros modèles impliquent aussi des téléchargements de centaines de gigaoctets. Colibri analyse en C des fichiers de modèle très volumineux et a publié huit avis de sécurité en août, alors ne prenez des fichiers de modèle que de sources de confiance.

Strata : une seule famille de modèles, rapide sur un PC de jeu

Strata (4.0) fait l'inverse : au lieu de tout faire tourner lentement, il fait tourner rapidement Qwen3.8-Flash-Next et DeepSeek V4.1-Flash. Il fixe les experts les plus utilisés sur le GPU, calcule les autres sur le CPU à partir de la RAM plutôt que de les transférer, garde une grande table de correspondance sur le SSD et utilise le décodage spéculatif, où un petit modèle auxiliaire rédige des mots que le modèle principal vérifie. Les propres mesures du projet sur une RTX 5070 de 12 GB avec un Ryzen 5 7600 montrent 93 tokens par seconde avec un contexte de 4K et le pack Q2_0, et 53 avec le pack IQ3_S de meilleure qualité, et les retours de la communauté sur des cartes AMD sont du même ordre.

Le hic : ces packs exigent de 37,6 à 54,8 GB de RAM et de VRAM cumulées, donc 64 GB de RAM sont le minimum réaliste. Les vitesses avec un contexte de 4K flattent aussi les longues sessions de code, et le projet est largement l'œuvre d'un seul développeur, avec des versions publiées tous les quelques jours.

AirLLM : le moins de mémoire GPU, le plus de patience

AirLLM ne garde qu'une couche du modèle à la fois sur le GPU, en chargeant chacune depuis le disque au moment où elle est nécessaire. C'est ainsi que son README peut annoncer un modèle de 70B sur une carte de 4 GB et Llama 3.1 405B sur 8 GB, et sa branche v3 ajoute le streaming expert par expert pour Kimi K3, qui selon le projet a tourné avec 3,72 GB de VRAM. C'est une bibliothèque Python, donc une première expérience tient en quelques lignes avec AutoModel.

Le hic : le chiffre mis en avant concerne la mémoire, pas la vitesse. AirLLM découpe d'abord le checkpoint en fichiers par couche, ce que le README qualifie de « very disk-consuming » (environ 360 GB pour Qwen3.8-Flash-Next), et désigne le chargement depuis le disque comme le principal goulot d'étranglement. Il ne publie aucun chiffre de tokens par seconde. Une compression optionnelle en 4 bits ou 8 bits le rend jusqu'à trois fois plus rapide.

FreeToken : conçu pour les agents qui reviennent à la charge

FreeToken, d'une équipe de recherche universitaire (article), garde tous les poids en RAM et transforme la mémoire GPU disponible en un cache partagé des experts récemment utilisés. Quand un expert manque, il décide au cas par cas s'il est plus rapide de le copier via PCIe ou de le calculer sur le CPU, selon la bande passante qu'il mesure. Il peut aussi modifier la répartition de la mémoire GPU entre le cache d'experts et la mémoire de conversation sans redémarrage.

Sa particularité s'adresse aux agents de code. Un agent modifie des arguments d'outils et injecte la sortie de commandes en pleine conversation, ce qui oblige normalement un moteur à recalculer tout le prompt. FreeToken enregistre l'état interne du modèle aux frontières logiques des tâches et le réutilise, si bien que le dixième tour d'une session ne devrait pas coûter autant que le premier. Le guide de Better Stack couvre l'installation et les vitesses comparées à Ollama. Il est sous Apache-2.0, prend en charge les cartes NVIDIA RTX 30, 40 et 50 sous Windows et Linux, et fonctionne avec Claude Code, Codex et OpenCode via des API compatibles OpenAI et Anthropic.

Le hic : NVIDIA uniquement pour l'instant ; la prise en charge d'AMD n'existe que dans un fork communautaire. La page du projet ne publie aucun benchmark propre, et avec 281 issues ouvertes, il évolue vite.

Lequel essayer en premier

Choisissez le modèle avant le moteur. Un runtime rapide ne peut pas sauver un modèle qui échoue sur votre tâche ou dont la licence vous est inutilisable.

Pour un assistant rapide et réactif sur un PC de jeu avec 64 GB de RAM, Strata est le chemin le plus court, à condition que Qwen3.8-Flash-Next ou DeepSeek V4.1-Flash soit le modèle que vous voulez. Pour de longues sessions d'agent sur une carte NVIDIA, FreeToken est conçu exactement pour cette charge de travail ; chronométrez une tâche entière, pas une seule réponse. Pour essayer un modèle bien trop gros pour votre machine, Colibri le fera tourner, lentement, et vous dit honnêtement à quel point. Pour une expérience en Python sur un petit GPU où l'attente ne gêne pas, AirLLM est le plus simple à scripter.

Si aucun ne vous tente, llama.cpp et Ollama restent le choix fiable pour les modèles qui tiennent dans votre mémoire.

Notre avis : le bon moteur est celui dont les allers-retours à la bibliothèque correspondent à votre patience. Mesurez le deuxième et le dixième tour d'une vraie session, pas la première réponse à « hello ».