Eine in C geschriebene Engine, die von der Festplatte streamt und offene Modelle mit 744B Parametern auf einem Desktop-Rechner laufen lässt, langsam, und nebenbei einen ehrlichen lokalen Ersatz für die Jev-Entscheidungs-API bietet. Wir bewerten es mit 4.2 von 5.

Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.

Welche Nachteile hat colibri?

Einstellige oder Bruchteile von Tokens pro Sekunde bei den größten Modellen; Acht Security Advisories am 5. August 2026, sechs davon hoch; Kein API-Schlüssel erzwungen, solange COLI_API_KEY nicht gesetzt ist; Der Durchsatz hängt stark von der Geschwindigkeit der Festplatte ab.

Was kostet colibri für ein Team oder im Produktivbetrieb?

Die Software ist kostenlos; die Kosten liegen in der Hardware. GLM-5.2 dekodiert mit 9,0 bis 9,2 Tokens pro Sekunde, wenn alle Experten auf sechs RTX 5090 liegen, und Kimi K3 ist ein Download von 1,56 TB bei etwa 9,4 Sekunden pro Token. Die Festplattengeschwindigkeit bestimmt den Durchsatz; eine zweite NVMe-SSD brachte gemessen +37,5 % beim Dekodieren.

Ist colibri sicher für Firmendaten?

Läuft lokal; die README beschreibt keine Telemetrie an entfernte Server, nur eine lokale Datei mit dem Routing-Verlauf (.coli_usage). Bindet an localhost und erzwingt einen Schlüssel nur mit COLI_API_KEY. Die Advisories vom August 2026 betrafen präparierte Modelldateien und einen nicht authentifizierten /profile-Endpunkt. Die Gewichte von Qwen-Image-2.1 sind nur nicht kommerziell nutzbar.

Was sind die besten Alternativen zu colibri?

Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama, vLLM, SGLang und Laya.

colibri GitHub-Repo im Test (2026)

Was ist colibri?

colibri führt sehr große offene Mixture-of-Experts-Modelle (MoE) auf Rechnern aus, die sie nicht im Speicher halten können. Ein MoE-Modell nutzt für jedes Token nur wenige seiner "Experten", deshalb hält colibri den ständig genutzten Teil im RAM und liest Experten von der Festplatte, sobald das Modell sie anfordert. Es ist in C geschrieben, mit einer Datei pro Modellfamilie, braucht keine GPU und nutzt CUDA oder Vulkan, wenn eine Grafikkarte vorhanden ist. Das Minimum sind 8 GB RAM und 22 GB Festplattenplatz für das kleinste Modell.

Heute laufen dreizehn Engines, darunter GLM-5.2 und 5.3, Kimi K3, DeepSeek V4 und V4.1 Flash, Qwen3.6, Qwen3.8-Flash-Next und das Bildmodell Qwen-Image-2.1. colibri stellt OpenAI- und Anthropic-kompatible APIs sowie ein Web-Dashboard bereit.

Dazu kommt ein System-One-Modus: POST /v1/systemone nimmt die Anfrage von TypeSafe Jev entgegen und gibt Jevs Antwortformat zurück. Jedes Chatmodell, das colibri ausführt, kann antworten, indem es die erlaubten Optionen bewertet, und drei Entscheidungsmodelle laufen nativ: Laya, GLiNER2.5-Decide und Clef von Cloudflare. Eine frühere Route /v1/brio ging nach Version 1.12.1 in diesem Endpunkt auf. Vincenzo Fornaro pflegt das Projekt unter Apache 2.0.

Lohnt sich colibri?

colibri tut etwas, das llama.cpp und Ollama gar nicht anstreben: Modelle mit Hunderten Milliarden Parametern auf einem Desktop-Rechner auszuführen, indem es die Festplatte als Teil des Speichers behandelt. Die eigenen Zahlen sind ehrlich, was den Preis angeht. GLM-5.2, ein 744B-Modell, dekodiert kalt mit 0,05 bis 0,1 Tokens pro Sekunde auf dem Laptop mit 25 GB, auf dem das Projekt begann, mit 1,83 auf einem Ryzen AI Max+ 395 mit 128 GB und mit 9,0 bis 9,2 auf sechs RTX 5090. Kleinere MoE-Modelle sind brauchbar: Qwen3.6-35B-A3B erreicht 6,0 Tokens pro Sekunde auf einer CPU und 30,0 mit CUDA.

Das Projekt ist beliebt und aktiv, mit rund 43.500 GitHub-Sternen seit Juli 2026. Version 2.0.0 vom 6. Oktober 2026 bündelte 169 Pull Requests, 88 davon von externen Beitragenden, und brachte Vulkan für jede Engine sowie bis zu 16 Unterhaltungen gleichzeitig. Die README ist ungewöhnlich offen über ihre Lücken: Die Maintainer schreiben, dass sie eine dedizierte GPU unter Vulkan nicht selbst gemessen haben, und der erste Wert, 17 bis 19 Tokens pro Sekunde für Qwen3.6 auf einer Tesla V100, stammt von einem Nutzer.

Die Sicherheitsbilanz verdient Aufmerksamkeit, denn colibri parst sehr große Modelldateien in C. Am 5. August 2026 veröffentlichte das Projekt acht Advisories, sechs davon als hoch eingestuft. Sie betrafen Heap- und Stack-Überläufe durch präparierte safetensors- und Konfigurationsdateien, ein negatives max_tok, das über den KV-Cache hinaus schrieb, und einen nicht authentifizierten /profile-Endpunkt. Der Server bindet standardmäßig an localhost und verlangt einen Schlüssel nur, wenn COLI_API_KEY gesetzt ist. Alles über einen einzelnen Rechner hinaus braucht also diese Variable, und Modelldateien sollten aus Quellen stammen, denen du vertraust.

Das System-One-Gateway ist eine durchdachte Zugabe. Ein Jev-Client wechselt, indem er seine Basis-URL ändert, und laut Dokumentation sind die beiden offiziellen SDKs von TypeSafe unverändert dagegen getestet. Die Wahrscheinlichkeiten stammen von deinem Modell, nicht von Jev, und werden nicht übereinstimmen. Auf einer CPU antwortet Laya in 219 ms und GLiNER2.5-Decide in 294 ms, Clef braucht in int8 dagegen 20,4 Sekunden pro Anfrage. Entscheidungsmodelle mit 27B wollen also weiterhin eine GPU.

Für den Betrieb mit vielen Nutzern auf echten GPUs bleiben vLLM und SGLang die Werkzeuge der Wahl; 16 KV-Slots reichen für einen Haushalt oder ein kleines Team, nicht für ein Produkt. Fairer ist der Vergleich mit llama.cpp, das die kleineren Modelle aus dem RAM abdeckt, aber gar nicht versucht, einen 429-GB-Checkpoint von einer NVMe-SSD zu streamen.

Wo es sich lohnt

Eine Forscherin mit einer Workstation mit Ryzen AI Max+ 395 und 128 GB
GLM-5.2 (744B) lokal für Offline-Experimente ausführen
Lade den 429 GB großen int4-Checkpoint auf eine NVMe-SSD und starte coli chat; das Projekt hat auf diesem Rechner warm 1,83 Tokens pro Sekunde gemessen. Es gibt keine API-Rechnung, aber eine lange Antwort dauert Minuten. Das passt eher zu Fragen im Batch als zu interaktivem Programmieren.
Ein Entwickler mit einem Desktop-Rechner mit 32 GB und integrierter Radeon 780M
Claude Code oder einen OpenAI-kompatiblen Editor auf ein lokales Modell richten
Qwen3.6-35B-A3B (ein Download von 23 GB) läuft aus dem RAM mit 6,0 Tokens pro Sekunde auf der CPU oder mit 9,9 unter Vulkan auf der integrierten GPU. Setze ANTHROPIC_BASE_URL auf den lokalen Server; nichts verlässt den Rechner.
Ein Produktteam, das Ticket-Routing mit Jev erprobt, bevor es API-Kapazität kauft
Entscheidungs-Prompts offline testen
Betreibe Laya (1,7 GB RAM, 219 ms pro Frage auf einem i7-Laptop) hinter /v1/systemone und ändere nur TYPESAFE_BASE_URL. Die Wahrscheinlichkeiten weichen vom gehosteten Jev ab, daher müssen Schwellenwerte vor dem Zurückwechseln neu kalibriert werden.

Bevor du dich festlegst

Einrichtung: ./start-here.sh unter Linux oder macOS, START-HERE.bat unter Windows: Das Skript prüft RAM, Festplatte und GPU, empfiehlt ein Modell, baut oder lädt die Engine und setzt unterbrochene Downloads fort. Das Minimum sind 8 GB RAM und 22 GB Festplattenplatz; die großen Modelle brauchen Hunderte GB auf NVMe.
Integrationen: OpenAI-kompatibles /v1/chat/completions, Anthropic-kompatibles /v1/messages, /v1/images/generations für Qwen-Image-2.1, /v1/systemone für Entscheidungen im Stil von Jev, ein Web-Dashboard und ein MCP-Server (coli mcp) für Einrichtungsaufgaben.
Daten und Datenschutz: Läuft lokal; die README beschreibt keine Telemetrie an entfernte Server, nur eine lokale Datei mit dem Routing-Verlauf (.coli_usage). Bindet an localhost und erzwingt einen Schlüssel nur mit COLI_API_KEY. Die Advisories vom August 2026 betrafen präparierte Modelldateien und einen nicht authentifizierten /profile-Endpunkt. Die Gewichte von Qwen-Image-2.1 sind nur nicht kommerziell nutzbar.
Kosten im großen Maßstab: Die Software ist kostenlos; die Kosten liegen in der Hardware. GLM-5.2 dekodiert mit 9,0 bis 9,2 Tokens pro Sekunde, wenn alle Experten auf sechs RTX 5090 liegen, und Kimi K3 ist ein Download von 1,56 TB bei etwa 9,4 Sekunden pro Token. Die Festplattengeschwindigkeit bestimmt den Durchsatz; eine zweite NVMe-SSD brachte gemessen +37,5 % beim Dekodieren.
Grenzen: Die größten Modelle laufen mit Bruchteilen bis einstelligen Tokens pro Sekunde; höchstens 16 gleichzeitige Unterhaltungen; die Ausgabe unter Vulkan kann um ein Wort von der der CPU abweichen; 141 offene Issues und Pull Requests, viele zur GPU-Erkennung und zu CUDA-Builds unter Windows.

Was gut ist

Führt MoE-Modelle der 744B-Klasse mit 16 bis 24 GB RAM aus, indem es Experten streamt
Reines C, keine GPU nötig; CUDA, Vulkan und Metal, wenn vorhanden
Jev-kompatibler Endpunkt /v1/systemone mit nativem Laya, GLiNER und Clef
Einrichtung in einem Schritt, die Downloads fortsetzt; v2.0.0 im Oktober 2026

Was nicht

Einstellige oder Bruchteile von Tokens pro Sekunde bei den größten Modellen
Acht Security Advisories am 5. August 2026, sechs davon hoch
Kein API-Schlüssel erzwungen, solange COLI_API_KEY nicht gesetzt ist
Der Durchsatz hängt stark von der Geschwindigkeit der Festplatte ab

Am besten für

Enthusiasten und Entwickler, die offene MoE-Modelle in Frontier-Größe auf dem eigenen Rechner ausführen oder Entscheidungen im Stil von Jev prototypisch testen wollen.

Alternativen zu colibri

llama.cpp

Run models locallyC++132k stars

4.8/5

C/C++ engine for running LLMs locally on CPUs, Apple silicon and most GPUs, home of the GGUF model format.

Ollama

Run models locallyGo184k stars

4.6/5

One-command tool for downloading and running open LLMs locally, with a REST API and optional paid cloud models.

vLLM

Run models locallyPython96k stars

4.7/5

High-throughput LLM serving engine for GPUs, with an OpenAI-compatible server and wide model support.

SGLang

Run models locallyPython38k stars

4.4/5

Fast serving framework for LLMs and multimodal models, built around RadixAttention prefix caching.

Laya

Run models locallyPython34k stars

3.6/5

Python runtime for the Laya decision models: a language router, a Jev-compatible server, framework hooks and free fine-tuning notebooks.

colibri: häufige Fragen

Lohnt sich colibri?: Eine in C geschriebene Engine, die von der Festplatte streamt und offene Modelle mit 744B Parametern auf einem Desktop-Rechner laufen lässt, langsam, und nebenbei einen ehrlichen lokalen Ersatz für die Jev-Entscheidungs-API bietet. Wir bewerten es mit 4.2 von 5.
Was kostet colibri?: Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.
Welche Nachteile hat colibri?: Einstellige oder Bruchteile von Tokens pro Sekunde bei den größten Modellen; Acht Security Advisories am 5. August 2026, sechs davon hoch; Kein API-Schlüssel erzwungen, solange COLI_API_KEY nicht gesetzt ist; Der Durchsatz hängt stark von der Geschwindigkeit der Festplatte ab.
Für wen eignet sich colibri?: Enthusiasten und Entwickler, die offene MoE-Modelle in Frontier-Größe auf dem eigenen Rechner ausführen oder Entscheidungen im Stil von Jev prototypisch testen wollen.
Was kostet colibri für ein Team oder im Produktivbetrieb?: Die Software ist kostenlos; die Kosten liegen in der Hardware. GLM-5.2 dekodiert mit 9,0 bis 9,2 Tokens pro Sekunde, wenn alle Experten auf sechs RTX 5090 liegen, und Kimi K3 ist ein Download von 1,56 TB bei etwa 9,4 Sekunden pro Token. Die Festplattengeschwindigkeit bestimmt den Durchsatz; eine zweite NVMe-SSD brachte gemessen +37,5 % beim Dekodieren.
Ist colibri sicher für Firmendaten?: Läuft lokal; die README beschreibt keine Telemetrie an entfernte Server, nur eine lokale Datei mit dem Routing-Verlauf (.coli_usage). Bindet an localhost und erzwingt einen Schlüssel nur mit COLI_API_KEY. Die Advisories vom August 2026 betrafen präparierte Modelldateien und einen nicht authentifizierten /profile-Endpunkt. Die Gewichte von Qwen-Image-2.1 sind nur nicht kommerziell nutzbar.
Was sind die besten Alternativen zu colibri?: Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Ollama, vLLM, SGLang und Laya.

Antworten geprüft am 23. Okt. 2026.