¿Qué es bitnet.cpp?
bitnet.cpp es el framework de inferencia de Microsoft Research para modelos de lenguaje de 1 bit y 1.58 bits, cuyos pesos se limitan a -1, 0 o +1. Está construido sobre llama.cpp y añade kernels de tablas de consulta e I2_S, derivados del trabajo T-MAC de Microsoft, para CPU x86 y ARM, además de un kernel CUDA aparte para GPU.
Ejecuta el propio BitNet b1.58 2B4T de Microsoft (analizado por separado en modelos), dos modelos de embeddings de 1 bit publicados en julio de 2026 (BitNet-embedding-0.6B y 270M) y algunos checkpoints de la comunidad, como las familias Falcon3 y Falcon-E de 1.58 bits y una conversión de Llama 3 8B. Los modelos GGUF normales no ganan velocidad; Microsoft remite a T-MAC para modelos generales de pocos bits.
El repositorio tiene licencia MIT, unas 41.600 estrellas en GitHub y ninguna release etiquetada; el último commit llegó el 27 de julio de 2026.
¿Merece la pena bitnet.cpp?
bitnet.cpp cumple su única promesa: los modelos entrenados con pesos ternarios funcionan varias veces más rápido en procesadores corrientes que modelos de precisión completa del mismo tamaño. Microsoft informa de aceleraciones de 2.37 a 6.17 veces en CPU x86 y de 1.37 a 5.07 veces en ARM, con un consumo de energía entre un 71.9 y un 82.2% y entre un 55.4 y un 70.0% menor, respectivamente, y una actualización de kernels de enero de 2026 añadió otras 1.15 a 2.1 veces.
El límite es la oferta. La lista de modelos compatibles es corta: BitNet b1.58 2B4T, los dos modelos de embeddings de julio de 2026 y checkpoints de la comunidad de 0.7B a 10B parámetros. La afirmación estrella del README, un modelo BitNet de 100B a 5 a 7 tokens por segundo en una sola CPU, sale del informe técnico de Microsoft; no se ha publicado ningún modelo ternario de ese tamaño, así que nadie puede reproducirla con pesos públicos. La cobertura de kernels también es irregular: los modelos de embeddings solo tienen kernels optimizados en x86, y el kernel de GPU está escrito para el modelo 2B4T.
Ponerlo en marcha es trabajo de desarrollador. La compilación pide Python 3.10 o posterior, CMake 3.22 y Clang 18, con Visual Studio 2022 en Windows, y la mayor parte de las FAQ trata de fallos de compilación. Incorpora un fork de llama.cpp como submódulo, así que hereda GGUF y el servidor de llama.cpp, pero no el ritmo de correcciones del proyecto original. Con 219 issues abiertas y 159 pull requests abiertas, y los últimos commits dedicados sobre todo a anunciar modelos, el mantenimiento parece escaso.
Quien ya usa llama.cpp u Ollama no tiene motivo para cambiar: esos cubren todos los modelos habituales, y bitnet.cpp solo ayuda con pesos entrenados como ternarios desde el principio. Su público son investigadores y equipos de sistemas embebidos que miden si merece la pena apostar por modelos nativos de 1 bit, y para ellos es la implementación de referencia.
Dónde se gana su sitio
Un ingeniero de sistemas embebidos en un fabricante de pasarelas industriales sin conexión
Averiguar si un modelo de chat pequeño puede responder a preguntas de operarios en una placa ARM sin GPU
Compila bitnet.cpp, descarga el GGUF de BitNet b1.58 2B4T y ejecuta utils/e2e_benchmark.py en la propia placa para obtener tokens por segundo reales. Las cifras de Microsoft en ARM (de 1.37 a 5.07 veces más rápido que la precisión completa) marcan el techo; la calidad de las respuestas del modelo 2B es la restricción real.
Un ingeniero de búsqueda en una empresa de comercio electrónico mediana
Reducir el coste de CPU de generar embeddings de descripciones de productos
Convierte BitNet-embedding-0.6B o 270M a I2_S y sírvelo en las máquinas x86 existentes; Microsoft informa de un prefill de 1.42 a 2.28 veces más rápido que F16 para el modelo 0.6B con 8 hilos. Compara antes la calidad de recuperación con el modelo actual, y ten en cuenta que los kernels I2_S no funcionan en ARM.
Un doctorando en un laboratorio de ML eficiente
Comparar un modelo ternario nativo con uno cuantizado tras el entrenamiento en la misma CPU
Usa el generador de modelos ficticios para medir arquitecturas que aún no tiene ningún modelo público, y el script convert-helper para convertir checkpoints BF16 en safetensors a GGUF. No cuesta nada más allá del hardware, y los informes técnicos de Microsoft dan una referencia citable.
Antes de decidirte
- Puesta en marcha
- Clona con --recursive, crea un entorno conda con Python 3.10, instala los requisitos, descarga el GGUF de Hugging Face y ejecuta setup_env.py para compilar los kernels. Cuenta con tener que resolver problemas de compilación en Windows, donde hace falta la consola de desarrollador de Visual Studio 2022.
- Integraciones
- run_inference.py para chatear desde la línea de comandos, run_inference_server.py, que envuelve el servidor de llama.cpp, descargas de Hugging Face, conversión desde safetensors BF16 y un kernel CUDA aparte en gpu/ para el modelo 2B4T.
- Datos y privacidad
- Funciona por completo en tu propio hardware; nada sale de la máquina una vez descargado el modelo. El envoltorio del servidor escucha en 127.0.0.1:8080 por defecto, así que exponerlo a una red es una decisión deliberada. Licencia MIT. La demo en línea de Microsoft es un servicio alojado aparte.
- Coste a escala
- Software gratuito sin edición de pago; el coste es tiempo de CPU, que es justo el objetivo del proyecto. Microsoft no publica cifras para servir a varios usuarios.
- Límites
- Solo se benefician los modelos entrenados como ternarios; 219 issues abiertas y ninguna release etiquetada; BitNet b1.58 2B4T, el modelo que más gente ejecuta con él, tiene un contexto de 4.096 tokens.
Lo bueno
- De 2.37 a 6.17 veces más rápido que la precisión completa en x86, según Microsoft
- Consumo de energía entre un 71.9 y un 82.2% menor en x86 en las pruebas de Microsoft
- Ejecuta el LLM ternario de Microsoft y sus modelos de embeddings de 1 bit
- Licencia MIT, construido sobre las herramientas GGUF de llama.cpp
Lo malo
- Solo se benefician los modelos entrenados como ternarios, y son pocos
- Sin releases etiquetadas; la compilación necesita Clang 18 y CMake 3.22
- La afirmación de 100B en una sola CPU no se puede comprobar con pesos públicos
- Los kernels de embeddings son solo para x86; el kernel de GPU apunta a un único modelo
Ideal para
Investigadores e ingenieros de sistemas embebidos que prueban modelos nativos de 1 bit en hardware solo con CPU.
Alternativas a bitnet.cpp
bitnet.cpp: preguntas frecuentes
- ¿Merece la pena bitnet.cpp?
- bitnet.cpp hace que los modelos ternarios sean de verdad rápidos en una CPU, pero con tan pocos modelos hechos para él, es un runtime de investigación más que uno general. Le damos un 3.6 sobre 5.
- ¿Cuánto cuesta bitnet.cpp?
- Gratuito y de código abierto bajo la licencia MIT. Sin edición de pago ni API alojada.
- ¿Qué inconvenientes tiene bitnet.cpp?
- Solo se benefician los modelos entrenados como ternarios, y son pocos; sin releases etiquetadas; la compilación necesita Clang 18 y CMake 3.22; la afirmación de 100B en una sola CPU no se puede comprobar con pesos públicos; los kernels de embeddings son solo para x86; el kernel de GPU apunta a un único modelo.
- ¿Para quién es bitnet.cpp?
- Investigadores e ingenieros de sistemas embebidos que prueban modelos nativos de 1 bit en hardware solo con CPU.
- ¿Cuánto cuesta bitnet.cpp para un equipo o en producción?
- Software gratuito sin edición de pago; el coste es tiempo de CPU, que es justo el objetivo del proyecto. Microsoft no publica cifras para servir a varios usuarios.
- ¿Es bitnet.cpp seguro para los datos de la empresa?
- Funciona por completo en tu propio hardware; nada sale de la máquina una vez descargado el modelo. El envoltorio del servidor escucha en 127.0.0.1:8080 por defecto, así que exponerlo a una red es una decisión deliberada. Licencia MIT. La demo en línea de Microsoft es un servicio alojado aparte.
- ¿Cuáles son las mejores alternativas a bitnet.cpp?
- Las alternativas más cercanas que hemos analizado son llama.cpp, Foundry Local, Ollama y MLX.
Respuestas comprobadas el 14 nov 2026.