Qu’est-ce que colibri ?
colibri fait tourner de très grands modèles ouverts à mélange d'experts (MoE) sur des machines qui ne peuvent pas les tenir en mémoire. Un modèle MoE n'utilise que quelques-uns de ses « experts » pour chaque token, si bien que colibri garde en RAM la partie toujours utilisée et lit les experts depuis le disque au fur et à mesure que le modèle les demande. Il est écrit en C avec un fichier par famille de modèle, n'a besoin d'aucun GPU, et utilise CUDA ou Vulkan quand une carte est présente. Le minimum est de 8 Go de RAM et 22 Go de disque pour le plus petit modèle.
Treize moteurs tournent aujourd'hui, dont GLM-5.2 et 5.3, Kimi K3, DeepSeek V4 et V4.1 Flash, Qwen3.6, Qwen3.8-Flash-Next et le modèle d'image Qwen-Image-2.1. Il sert des API compatibles OpenAI et Anthropic et un tableau de bord web.
Il a aussi un mode System One : POST /v1/systemone accepte la requête de Jev de TypeSafe et renvoie le format de réponse de Jev. N'importe quel modèle de chat qu'il fait tourner peut répondre en notant les options autorisées, et trois modèles de décision tournent nativement : Laya, GLiNER2.5-Decide et Clef de Cloudflare. Une ancienne route /v1/brio a été intégrée à cet endpoint après la version 1.12.1. Vincenzo Fornaro le maintient sous Apache 2.0.
colibri vaut-il le coup ?
colibri fait quelque chose que llama.cpp et Ollama ne cherchent pas à faire : faire tourner des modèles de centaines de milliards de paramètres sur un ordinateur de bureau en traitant le disque comme une partie de la mémoire. Ses propres chiffres sont honnêtes sur le coût. GLM-5.2, un modèle de 744B, décode à 0,05 à 0,1 token par seconde à froid sur le portable à 25 Go où le projet a commencé, 1,83 sur un Ryzen AI Max+ 395 à 128 Go, et 9,0 à 9,2 sur six RTX 5090. Les modèles MoE plus petits sont utilisables : Qwen3.6-35B-A3B atteint 6,0 tokens par seconde sur un CPU et 30,0 avec CUDA.
Le projet est populaire et actif, avec environ 43 500 étoiles GitHub depuis juillet 2026. La version 2.0.0 du 6 octobre 2026 a regroupé 169 pull requests, 88 de contributeurs externes, ajoutant Vulkan sur chaque moteur et jusqu'à 16 conversations à la fois. Le README est exceptionnellement franc sur ses lacunes : les mainteneurs disent n'avoir pas chronométré eux-mêmes un GPU discret sur Vulkan, et le premier chiffre, 17 à 19 tokens par seconde pour Qwen3.6 sur un Tesla V100, venait d'un utilisateur.
Son bilan de sécurité mérite attention, car il parse de très grands fichiers de modèles en C. Le 5 août 2026, le projet a publié huit avis, six notés élevés, couvrant des débordements de tas et de pile à partir de fichiers safetensors et de config fabriqués, un max_tok négatif qui écrivait au-delà du cache KV, et un endpoint /profile non authentifié. Le serveur se lie à localhost par défaut et n'impose une clé que lorsque COLI_API_KEY est défini, si bien que tout ce qui dépasse une machine a besoin de cette variable, et les fichiers de modèles devraient venir de sources de confiance.
La passerelle System One est un extra réfléchi. Un client Jev bascule en changeant son URL de base, et la documentation dit que les deux SDK officiels de TypeSafe sont testés contre elle sans modification. Les probabilités sont celles de votre modèle, pas de Jev, et ne correspondront pas. Sur un CPU, Laya répond en 219 ms et GLiNER2.5-Decide en 294 ms, mais Clef prend 20,4 secondes par requête en int8, si bien que les modèles de décision de 27B veulent encore un GPU.
Pour un service multi-utilisateurs sur de vrais GPU, vLLM et SGLang restent les outils ; 16 emplacements KV conviennent à un foyer ou à une petite équipe, pas à un produit. La comparaison plus juste est llama.cpp, qui couvre les plus petits modèles depuis la RAM mais n'essaie pas de diffuser un checkpoint de 429 Go depuis un disque NVMe.
Là où il fait la différence
Un chercheur avec un poste de travail Ryzen AI Max+ 395 à 128 Go
Faire tourner GLM-5.2 (744B) localement pour des expériences hors ligne
Téléchargez le checkpoint int4 de 429 Go sur NVMe et lancez coli chat ; le projet a mesuré 1,83 token par seconde à chaud sur cette machine. Il n'y a pas de facture d'API, mais une longue réponse prend des minutes, si bien qu'il convient aux questions par lots plutôt qu'au code interactif.
Un développeur sur un ordinateur de bureau de 32 Go avec un Radeon 780M intégré
Pointer Claude Code ou un éditeur compatible OpenAI vers un modèle local
Qwen3.6-35B-A3B (un téléchargement de 23 Go) tourne depuis la RAM à 6,0 tokens par seconde sur le CPU ou 9,9 avec Vulkan sur le GPU intégré. Réglez ANTHROPIC_BASE_URL sur le serveur local ; rien ne quitte la machine.
Une équipe produit qui prototype un routage de tickets basé sur Jev avant d'acheter de la capacité API
Tester des prompts de décision hors ligne
Faites tourner Laya (1,7 Go de RAM, 219 ms par question sur un portable i7) derrière /v1/systemone et changez seulement TYPESAFE_BASE_URL. Les probabilités diffèrent du Jev hébergé, si bien que les seuils ont besoin d'être recalibrés avant de revenir en arrière.
Avant de vous engager
- Mise en route
- ./start-here.sh sur Linux ou macOS, START-HERE.bat sur Windows : il vérifie la RAM, le disque et le GPU, recommande un modèle, construit ou télécharge le moteur et reprend les téléchargements interrompus. Le minimum est de 8 Go de RAM et 22 Go de disque ; les grands modèles ont besoin de centaines de Go de NVMe.
- Intégrations
- /v1/chat/completions compatible OpenAI, /v1/messages compatible Anthropic, /v1/images/generations pour Qwen-Image-2.1, /v1/systemone pour les décisions à la Jev, un tableau de bord web et un serveur MCP (coli mcp) pour les tâches de configuration.
- Données et confidentialité
- Tourne localement ; le README ne décrit aucune télémétrie distante, seulement un fichier local d'historique de routage (.coli_usage). Se lie à localhost et n'impose une clé qu'avec COLI_API_KEY. Les avis d'août 2026 couvraient des fichiers de modèles fabriqués et un endpoint /profile non authentifié. Les poids de Qwen-Image-2.1 sont non commerciaux.
- Coût à grande échelle
- Le logiciel est gratuit ; le coût est le matériel. GLM-5.2 décode à 9,0 à 9,2 tokens par seconde avec chaque expert résident sur six RTX 5090, et Kimi K3 est un téléchargement de 1,56 To à environ 9,4 secondes par token. La vitesse du disque fixe le débit ; un second disque NVMe a mesuré +37,5 % de décodage.
- Limites
- Les plus grands modèles tournent à des tokens par seconde fractionnaires à un chiffre ; au plus 16 conversations simultanées ; la sortie Vulkan peut dériver de celle du CPU d'un mot ; 141 issues et pull requests ouvertes, beaucoup à propos de la détection du GPU et des builds CUDA Windows.
Les points forts
- Fait tourner des modèles MoE de classe 744B avec 16 à 24 Go de RAM en diffusant les experts
- C pur, pas de GPU requis ; CUDA, Vulkan et Metal quand disponibles
- Endpoint /v1/systemone compatible Jev avec Laya, GLiNER et Clef natifs
- Configuration en une étape qui reprend les téléchargements ; v2.0.0 en octobre 2026
Les points faibles
- Tokens par seconde à un chiffre ou fractionnaires sur les plus grands modèles
- Huit avis de sécurité le 5 août 2026, six élevés
- Aucune clé d'API imposée sauf si COLI_API_KEY est défini
- Le débit dépend fortement de la vitesse du disque
Idéal pour
Les passionnés et développeurs qui veulent faire tourner des modèles MoE ouverts de taille de pointe, ou prototyper des décisions à la Jev, sur leur propre machine.
Alternatives à colibri
colibri : questions fréquentes
- colibri vaut-il le coup ?
- Un moteur C à diffusion disque qui fait tourner des modèles ouverts de 744 milliards de paramètres sur un ordinateur de bureau, lentement, avec en prime un substitut local honnête à l'API de décision Jev. Nous lui donnons 4.2 sur 5.
- Combien coûte colibri ?
- Gratuit et open source (Apache 2.0). Chaque modèle garde sa propre licence.
- Quels sont les inconvénients de colibri ?
- Tokens par seconde à un chiffre ou fractionnaires sur les plus grands modèles; huit avis de sécurité le 5 août 2026, six élevés; aucune clé d'API imposée sauf si COLI_API_KEY est défini; le débit dépend fortement de la vitesse du disque.
- À qui s’adresse colibri ?
- Les passionnés et développeurs qui veulent faire tourner des modèles MoE ouverts de taille de pointe, ou prototyper des décisions à la Jev, sur leur propre machine.
- Combien coûte colibri pour une équipe ou en production ?
- Le logiciel est gratuit ; le coût est le matériel. GLM-5.2 décode à 9,0 à 9,2 tokens par seconde avec chaque expert résident sur six RTX 5090, et Kimi K3 est un téléchargement de 1,56 To à environ 9,4 secondes par token. La vitesse du disque fixe le débit ; un second disque NVMe a mesuré +37,5 % de décodage.
- colibri est-il sûr pour les données de l’entreprise ?
- Tourne localement ; le README ne décrit aucune télémétrie distante, seulement un fichier local d'historique de routage (.coli_usage). Se lie à localhost et n'impose une clé qu'avec COLI_API_KEY. Les avis d'août 2026 couvraient des fichiers de modèles fabriqués et un endpoint /profile non authentifié. Les poids de Qwen-Image-2.1 sont non commerciaux.
- Quelles sont les meilleures alternatives à colibri ?
- Les alternatives les plus proches que nous avons testées sont llama.cpp, Ollama, vLLM, SGLang et Laya.
Réponses vérifiées le 23 oct. 2026.