Was ist bitnet.cpp?
bitnet.cpp ist das Inferenz-Framework von Microsoft Research für Sprachmodelle mit 1 Bit und 1.58 Bit, deren Gewichte nur -1, 0 oder +1 sein können. Es baut auf llama.cpp auf und ergänzt Lookup-Table- und I2_S-Kernel, abgeleitet aus Microsofts T-MAC-Arbeit, für x86- und ARM-CPUs sowie einen separaten CUDA-Kernel für GPUs.
Es führt Microsofts eigenes BitNet b1.58 2B4T aus (separat unter Modelle besprochen), zwei im Juli 2026 veröffentlichte 1-Bit-Embedding-Modelle (BitNet-embedding-0.6B und 270M) und einige Community-Checkpoints wie die Falcon3- und Falcon-E-Familien mit 1.58 Bit und eine Llama-3-8B-Konvertierung. Gewöhnliche GGUF-Modelle werden nicht schneller; für allgemeine Low-Bit-Modelle verweist Microsoft auf T-MAC.
Das Repository steht unter MIT-Lizenz, hat rund 41.600 GitHub-Sterne und keine getaggten Releases; der letzte Commit kam am 27. Juli 2026.
Lohnt sich bitnet.cpp?
bitnet.cpp hält sein einziges Versprechen: Modelle, die mit ternären Gewichten trainiert wurden, laufen auf gewöhnlichen Prozessoren um ein Mehrfaches schneller als Modelle gleicher Größe in voller Präzision. Microsoft meldet Beschleunigungen um das 2.37- bis 6.17-Fache auf x86-CPUs und um das 1.37- bis 5.07-Fache auf ARM, bei einem um 71.9 bis 82.2% bzw. 55.4 bis 70.0% geringeren Energieverbrauch, und ein Kernel-Update im Januar 2026 brachte weitere 1.15 bis 2.1 Mal.
Die Grenze ist das Angebot. Die Liste unterstützter Modelle ist kurz: BitNet b1.58 2B4T, die beiden Embedding-Modelle vom Juli 2026 und Community-Checkpoints von 0.7B bis 10B Parametern. Die Kernaussage des README, ein BitNet-Modell mit 100B bei 5 bis 7 Tokens pro Sekunde auf einer einzigen CPU, stammt aus Microsofts technischem Bericht; ein ternäres Modell dieser Größe ist nie veröffentlicht worden, also kann niemand sie mit öffentlichen Gewichten nachprüfen. Auch die Kernel-Abdeckung ist lückenhaft: Die Embedding-Modelle haben optimierte Kernel nur für x86, und der GPU-Kernel ist für das 2B4T-Modell geschrieben.
Die Inbetriebnahme ist Entwicklerarbeit. Der Build verlangt Python 3.10 oder neuer, CMake 3.22 und Clang 18, unter Windows Visual Studio 2022, und der Großteil der FAQ handelt von Build-Fehlern. Ein Fork von llama.cpp ist als Submodul eingebunden; so erbt das Projekt GGUF und den Server von llama.cpp, aber nicht das Fehlerbehebungstempo des Originals. Bei 219 offenen Issues und 159 offenen Pull Requests, und mit jüngsten Commits, die vor allem neue Modelle ankündigen, wirkt die Pflege dünn.
Wer schon llama.cpp oder Ollama nutzt, hat keinen Grund zu wechseln: Diese decken alle gängigen Modelle ab, und bitnet.cpp hilft nur bei Gewichten, die von Anfang an ternär trainiert wurden. Sein Publikum sind Forschende und Embedded-Teams, die prüfen, ob sich native 1-Bit-Modelle lohnen, und für sie ist es die Referenzimplementierung.
Wo es sich lohnt
Ein Embedded-Ingenieur bei einem Hersteller von Offline-Industrie-Gateways
Herausfinden, ob ein kleines Chatmodell auf einer ARM-Platine ohne GPU Fragen von Bedienern beantworten kann
bitnet.cpp bauen, das GGUF von BitNet b1.58 2B4T herunterladen und utils/e2e_benchmark.py direkt auf der Platine ausführen, um echte Tokens pro Sekunde zu messen. Microsofts ARM-Zahlen (1.37- bis 5.07-mal schneller als volle Präzision) setzen die Obergrenze; die Antwortqualität des 2B-Modells ist die eigentliche Einschränkung.
Ein Such-Ingenieur bei einem mittelgroßen E-Commerce-Unternehmen
Die CPU-Kosten für Embeddings von Produktbeschreibungen senken
BitNet-embedding-0.6B oder 270M nach I2_S konvertieren und auf vorhandenen x86-Maschinen bereitstellen; Microsoft meldet für das 0.6B-Modell mit 8 Threads einen 1.42- bis 2.28-mal schnelleren Prefill als F16. Vorher die Retrieval-Qualität mit dem aktuellen Modell vergleichen und beachten, dass die I2_S-Kernel nicht auf ARM laufen.
Eine Doktorandin in einer Arbeitsgruppe für effizientes ML
Ein nativ ternäres Modell mit einem nachträglich quantisierten auf derselben CPU vergleichen
Mit dem Dummy-Modell-Generator Architekturen messen, für die es noch kein öffentliches Modell gibt, und mit dem convert-helper-Skript BF16-Checkpoints im safetensors-Format nach GGUF umwandeln. Außer der Hardware kostet das nichts, und Microsofts technische Berichte liefern eine zitierbare Vergleichsbasis.
Bevor du dich festlegst
- Einrichtung
- Mit --recursive klonen, eine conda-Umgebung mit Python 3.10 anlegen, die Abhängigkeiten installieren, das GGUF von Hugging Face laden und setup_env.py ausführen, um die Kernel zu bauen. Unter Windows, wo die Entwickler-Shell von Visual Studio 2022 nötig ist, ist mit Build-Problemen zu rechnen.
- Integrationen
- run_inference.py für Chat auf der Kommandozeile, run_inference_server.py als Wrapper um den Server von llama.cpp, Downloads von Hugging Face, Konvertierung aus BF16-safetensors und ein separater CUDA-Kernel unter gpu/ für das 2B4T-Modell.
- Daten und Datenschutz
- Läuft vollständig auf eigener Hardware; nach dem Download des Modells verlässt nichts den Rechner. Der Server-Wrapper lauscht standardmäßig auf 127.0.0.1:8080, ihn ins Netz zu stellen ist also eine bewusste Entscheidung. MIT-Lizenz. Microsofts Online-Demo ist ein separater gehosteter Dienst.
- Kosten im großen Maßstab
- Kostenlose Software ohne Bezahlversion; die Kosten sind CPU-Zeit, und genau darum geht es dem Projekt. Microsoft veröffentlicht keine Zahlen für den Betrieb mit vielen Nutzern.
- Grenzen
- Nur ternär trainierte Modelle profitieren; 219 offene Issues und keine getaggten Releases; BitNet b1.58 2B4T, das meistgenutzte Modell darauf, hat einen Kontext von 4.096 Tokens.
Was gut ist
- Laut Microsoft 2.37- bis 6.17-mal schneller als volle Präzision auf x86
- In Microsofts Tests 71.9 bis 82.2% weniger Energieverbrauch auf x86
- Führt Microsofts ternäres LLM und seine 1-Bit-Embedding-Modelle aus
- MIT-Lizenz, aufgebaut auf den GGUF-Werkzeugen von llama.cpp
Was nicht
- Nur ternär trainierte Modelle profitieren, und davon gibt es wenige
- Keine getaggten Releases; der Build braucht Clang 18 und CMake 3.22
- Die Aussage zu 100B auf einer CPU lässt sich mit öffentlichen Gewichten nicht prüfen
- Embedding-Kernel nur für x86; der GPU-Kernel zielt auf ein einziges Modell
Am besten für
Forschende und Embedded-Ingenieure, die native 1-Bit-Modelle auf reiner CPU-Hardware testen.
Alternativen zu bitnet.cpp
bitnet.cpp: häufige Fragen
- Lohnt sich bitnet.cpp?
- bitnet.cpp macht ternäre Modelle auf einer CPU wirklich schnell, doch weil es so wenige Modelle dafür gibt, ist es eher eine Forschungs-Runtime als eine allgemeine. Wir bewerten es mit 3.6 von 5.
- Was kostet bitnet.cpp?
- Kostenlos und Open Source unter der MIT-Lizenz. Keine kostenpflichtige Edition und keine gehostete API.
- Welche Nachteile hat bitnet.cpp?
- Nur ternär trainierte Modelle profitieren, und davon gibt es wenige; Keine getaggten Releases; der Build braucht Clang 18 und CMake 3.22; Die Aussage zu 100B auf einer CPU lässt sich mit öffentlichen Gewichten nicht prüfen; Embedding-Kernel nur für x86; der GPU-Kernel zielt auf ein einziges Modell.
- Für wen eignet sich bitnet.cpp?
- Forschende und Embedded-Ingenieure, die native 1-Bit-Modelle auf reiner CPU-Hardware testen.
- Was kostet bitnet.cpp für ein Team oder im Produktivbetrieb?
- Kostenlose Software ohne Bezahlversion; die Kosten sind CPU-Zeit, und genau darum geht es dem Projekt. Microsoft veröffentlicht keine Zahlen für den Betrieb mit vielen Nutzern.
- Ist bitnet.cpp sicher für Firmendaten?
- Läuft vollständig auf eigener Hardware; nach dem Download des Modells verlässt nichts den Rechner. Der Server-Wrapper lauscht standardmäßig auf 127.0.0.1:8080, ihn ins Netz zu stellen ist also eine bewusste Entscheidung. MIT-Lizenz. Microsofts Online-Demo ist ein separater gehosteter Dienst.
- Was sind die besten Alternativen zu bitnet.cpp?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, Foundry Local, Ollama und MLX.
Antworten geprüft am 14. Nov. 2026.