Was ist BitNet b1.58 2B4T?
BitNet b1.58 2B4T ist ein Forschungsmodell von Microsoft Research, veröffentlicht im April 2025. Es hat etwa 2 Milliarden Parameter, wurde mit 4 Billionen Tokens trainiert, und jedes Gewicht ist einer von drei Werten: -1, 0 oder +1, also etwa 1,58 Bit. Die Aktivierungen haben 8 Bit. Anders als die meisten kleinen quantisierten Modelle wurde es von Anfang an so trainiert, statt nach dem Training komprimiert zu werden.
Es geht um Effizienz. Microsofts Tabelle beziffert den Speicher ohne Embeddings auf 0,4 GB, gegenüber 1,4 GB für Gemma 3 1B und 2,6 GB für Qwen2.5 1.5B, mit 29 ms pro Token beim Dekodieren auf einer CPU und geschätzt 0,028 Joule pro Token. Es liest und schreibt englischen Text, mit 4.096 Tokens Kontext und dem Tokenizer von Llama 3.
Es steht unter der MIT-Lizenz. Diese Vorteile brauchen Microsofts Laufzeit bitnet.cpp; in normalem transformers läuft es nicht schneller als ein Modell in voller Präzision. Das bitnet.cpp-Repository hat etwa 41.500 GitHub-Sterne und wurde zuletzt im Juli 2026 aktualisiert; die Gewichte kamen in den letzten 30 Tagen auf etwa 11.000 Downloads bei Hugging Face.
Lohnt sich BitNet b1.58 2B4T?
BitNets Ergebnis: Ternäre Gewichte, von Grund auf trainiert, halten mit. Über Microsofts Benchmark-Set erreicht es im Schnitt 54,19, gegenüber 55,23 für Qwen2.5 1.5B, 48,70 für SmolLM2 1.7B, 44,90 für Llama 3.2 1B und 43,74 für Gemma 3 1B. In dieser Gruppe führt es bei GSM8K-Mathematik mit 58,38 und bei ARC-Challenge mit 49,91 und braucht dabei 0,4 GB Speicher ohne Embeddings gegenüber 2,6 GB für Qwen.
Schwächer ist es, wo Wissen und Code zählen. Qwen2.5 1.5B schlägt es bei MMLU (60,25 zu 53,17), HumanEval+ (50,60 zu 38,40) und MATH-500 (53,00 zu 43,40), und Gemma 3 1B liegt beim Befolgen von Anweisungen vorn. Diese Konkurrenten sind selbst Modelle von 2024 und Anfang 2025, die Tabelle sagt also wenig darüber, wie es sich gegen seither erschienene kleine Modelle schlägt.
Der praktische Haken sind Laufzeit und Kontext. Die Einsparungen bei Tempo und Energie gibt es nur in bitnet.cpp; Microsoft warnt, dass es in transformers genauso langsam oder langsamer läuft als ein normales Modell. Der Kontext von 4.096 Tokens ist knapp für Chatverläufe oder Dokumente, andere Sprachen als Englisch werden nur begrenzt unterstützt, und Microsofts eigene Modellkarte rät ohne weitere Tests von kommerzieller oder realer Nutzung ab.
Sein Wert liegt als Referenzpunkt. Es ist das Modell zum Studieren, wenn du entscheidest, ob sich Entwicklung für 1-Bit-Inferenz auf CPUs lohnt, und Microsoft hat noch kein größeres oder neueres BitNet-Sprachmodell als Ersatz veröffentlicht.
Wo es sich lohnt
Ein Embedded-Software-Ingenieur bei einem Hersteller von Industriesensoren
Testen, ob ein Sprachmodell auf einem Gateway ohne GPU und mit wenig RAM läuft
bitnet.cpp bauen und die GGUF-Datei auf der Ziel-CPU ausführen. Microsoft maß 29 ms pro Token und 0,4 GB Speicher ohne Embeddings; prüfen, ob der Kontext von 4.096 Tokens für deine Prompts reicht.
Ein Doktorand in einer Gruppe für effizientes Machine Learning
Ein ternäres Modell für eine enge Aufgabe feinabstimmen und mit einer quantisierten Basis vergleichen
Von den BF16-Mastergewichten starten, die Microsoft fürs Training veröffentlicht, unter MIT-Lizenz. Die 4 Billionen Trainings-Tokens und das veröffentlichte Rezept geben eine saubere Basis gegenüber Quantisierung nach dem Training.
Bevor du dich festlegst
- Einrichtung
- microsoft/BitNet (bitnet.cpp) klonen und kompilieren, die GGUF-Datei laden und über die Kommandozeile ausführen. Der Weg über transformers braucht einen bestimmten Fork und bringt keinen Tempovorteil.
- Integrationen
- bitnet.cpp für CPU-Inferenz, ein transformers-Fork für Experimente und BF16-Gewichte für Training oder Fine-Tuning.
- Daten und Datenschutz
- Läuft vollständig offline auf deiner eigenen CPU. Die MIT-Lizenz erlaubt kommerzielle Nutzung, Microsoft empfiehlt aber vorher weitere Tests.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos und laufen auf normalen CPUs; Microsoft schätzt 0,028 J pro Token gegenüber 0,186 J für Gemma 3 1B.
- Grenzen
- 4.096 Tokens Kontext, begrenzte Unterstützung außerhalb des Englischen und laut Microsofts Modellkarte eine erhöhte Fehlerquote bei Wahlfragen.
Was gut ist
- 0,4 GB Speicher ohne Embeddings, etwa ein Sechstel von Qwen2.5 1.5B
- 29 ms pro Token auf der CPU in Microsofts Test
- Im Schnitt nahe an Qwen2.5 1.5B (54,19 zu 55,23)
- MIT-Lizenz, mit BF16-Mastergewichten für Fine-Tuning
Was nicht
- Einsparungen nur mit bitnet.cpp; transformers ist nicht schneller
- 4.096 Tokens Kontext
- Microsoft rät ohne Tests von kommerzieller Nutzung ab
- Nur mit Modellen von 2024 und Anfang 2025 verglichen
Am besten für
Forschende und Embedded-Ingenieure, die prüfen, ob native 1-Bit-Modelle auf reiner CPU-Hardware praxistauglich sind.
Alternativen zu BitNet b1.58 2B4T
BitNet b1.58 2B4T: häufige Fragen
- Lohnt sich BitNet b1.58 2B4T?
- BitNet b1.58 2B4T beweist, dass ein natives 1-Bit-Modell mit 2B-Konkurrenten in voller Präzision mithalten kann, bei einem Bruchteil des Speichers, ist aber ein Forschungsartefakt, kein Modell für den Produktiveinsatz. Wir bewerten es mit 3.5 von 5.
- Was kostet BitNet b1.58 2B4T?
- Kostenlose Gewichte und Laufzeit bitnet.cpp unter MIT-Lizenz. Keine gehostete API.
- Welche Nachteile hat BitNet b1.58 2B4T?
- Einsparungen nur mit bitnet.cpp; transformers ist nicht schneller; 4.096 Tokens Kontext; Microsoft rät ohne Tests von kommerzieller Nutzung ab; Nur mit Modellen von 2024 und Anfang 2025 verglichen.
- Für wen eignet sich BitNet b1.58 2B4T?
- Forschende und Embedded-Ingenieure, die prüfen, ob native 1-Bit-Modelle auf reiner CPU-Hardware praxistauglich sind.
- Was kostet BitNet b1.58 2B4T für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos und laufen auf normalen CPUs; Microsoft schätzt 0,028 J pro Token gegenüber 0,186 J für Gemma 3 1B.
- Ist BitNet b1.58 2B4T sicher für Firmendaten?
- Läuft vollständig offline auf deiner eigenen CPU. Die MIT-Lizenz erlaubt kommerzielle Nutzung, Microsoft empfiehlt aber vorher weitere Tests.
- Was sind die besten Alternativen zu BitNet b1.58 2B4T?
- Die nächsten Alternativen, die wir getestet haben, sind Ternary Bonsai 2 9B, SmolLM3-3B, MiniCPM5-2B und LFM3.
Antworten geprüft am 7. Nov. 2026.