¿Qué es colibri?
colibri ejecuta modelos abiertos mixture-of-experts (MoE) muy grandes en máquinas que no pueden tenerlos en memoria. Un modelo MoE usa solo unos pocos de sus "expertos" en cada token, así que colibri mantiene en RAM la parte que se usa siempre y lee los expertos desde disco a medida que el modelo los pide. Está escrito en C, con un archivo por familia de modelos, no necesita GPU y usa CUDA o Vulkan cuando hay una tarjeta. El mínimo son 8 GB de RAM y 22 GB de disco para el modelo más pequeño.
Hoy funcionan trece motores, entre ellos GLM-5.2 y 5.3, Kimi K3, DeepSeek V4 y V4.1 Flash, Qwen3.6, Qwen3.8-Flash-Next y el modelo de imagen Qwen-Image-2.1. Ofrece APIs compatibles con OpenAI y Anthropic y un panel web.
También tiene un modo System One: POST /v1/systemone acepta la petición de Jev de TypeSafe y devuelve el formato de respuesta de Jev. Cualquier modelo de chat que ejecute puede responder puntuando las opciones permitidas, y tres modelos de decisión funcionan de forma nativa: Laya, GLiNER2.5-Decide y Clef, de Cloudflare. Una ruta anterior, /v1/brio, se integró en este endpoint después de la versión 1.12.1. Lo mantiene Vincenzo Fornaro con licencia Apache 2.0.
¿Merece la pena colibri?
colibri hace algo que llama.cpp y Ollama no se proponen: ejecutar modelos de cientos de miles de millones de parámetros en un ordenador de sobremesa tratando el disco como parte de la memoria. Sus propias cifras son honestas sobre el coste. GLM-5.2, un modelo de 744B, decodifica a entre 0,05 y 0,1 tokens por segundo en frío en el portátil de 25 GB donde empezó el proyecto, a 1,83 en un Ryzen AI Max+ 395 con 128 GB y a entre 9,0 y 9,2 en seis RTX 5090. Los modelos MoE más pequeños son usables: Qwen3.6-35B-A3B llega a 6,0 tokens por segundo en CPU y a 30,0 con CUDA.
El proyecto es popular y activo, con unas 43.500 estrellas en GitHub desde julio de 2026. La versión 2.0.0, del 6 de octubre de 2026, reunió 169 pull requests, 88 de colaboradores externos, y añadió Vulkan en todos los motores y hasta 16 conversaciones a la vez. El README es inusualmente franco sobre sus carencias: los mantenedores dicen que no han medido ellos mismos una GPU dedicada con Vulkan, y la primera cifra, de 17 a 19 tokens por segundo para Qwen3.6 en una Tesla V100, la aportó un usuario.
Su historial de seguridad merece atención, porque analiza en C archivos de modelo muy grandes. El 5 de agosto de 2026 el proyecto publicó ocho avisos, seis de gravedad alta, que cubrían desbordamientos de heap y de pila a partir de archivos safetensors y de configuración manipulados, un max_tok negativo que escribía más allá de la caché KV y un endpoint /profile sin autenticación. El servidor escucha en localhost por defecto y solo exige una clave si COLI_API_KEY está definida, así que cualquier uso más allá de una máquina necesita esa variable, y los archivos de modelo deben venir de fuentes de confianza.
La pasarela System One es un extra bien pensado. Un cliente de Jev cambia con solo modificar su URL base, y la documentación dice que los dos SDK oficiales de TypeSafe se prueban contra ella sin modificar. Las probabilidades son las de tu modelo, no las de Jev, y no coincidirán. En CPU, Laya responde en 219 ms y GLiNER2.5-Decide en 294 ms, pero Clef tarda 20,4 segundos por petición en int8, así que los modelos de decisión de 27B siguen pidiendo una GPU.
Para servir a muchos usuarios en GPU de verdad, vLLM y SGLang siguen siendo las herramientas; 16 ranuras KV bastan para un hogar o un equipo pequeño, no para un producto. La comparación más justa es llama.cpp, que cubre los modelos más pequeños desde RAM pero no intenta leer un checkpoint de 429 GB desde una unidad NVMe.
Dónde se gana su sitio
Un investigador con una estación de trabajo Ryzen AI Max+ 395 de 128 GB
Ejecutar GLM-5.2 (744B) en local para experimentos sin conexión
Descarga el checkpoint int4 de 429 GB a un NVMe y ejecuta coli chat; el proyecto midió 1,83 tokens por segundo en caliente en esta máquina. No hay factura de API, pero una respuesta larga tarda minutos, así que sirve para preguntas por lotes más que para programar de forma interactiva.
Un desarrollador con un sobremesa de 32 GB y una Radeon 780M integrada
Conectar Claude Code o un editor compatible con OpenAI a un modelo local
Qwen3.6-35B-A3B (una descarga de 23 GB) funciona desde RAM a 6,0 tokens por segundo en la CPU o a 9,9 con Vulkan en la GPU integrada. Apunta ANTHROPIC_BASE_URL al servidor local; nada sale de la máquina.
Un equipo de producto que prototipa el enrutado de tickets con Jev antes de comprar capacidad de API
Probar prompts de decisión sin conexión
Ejecuta Laya (1,7 GB de RAM, 219 ms por pregunta en un portátil i7) detrás de /v1/systemone y cambia solo TYPESAFE_BASE_URL. Las probabilidades difieren de las de Jev alojado, así que hay que recalibrar los umbrales antes de volver.
Antes de decidirte
- Puesta en marcha
- ./start-here.sh en Linux o macOS, START-HERE.bat en Windows: comprueba RAM, disco y GPU, recomienda un modelo, compila o descarga el motor y reanuda las descargas interrumpidas. El mínimo son 8 GB de RAM y 22 GB de disco; los modelos grandes necesitan cientos de GB de NVMe.
- Integraciones
- /v1/chat/completions compatible con OpenAI, /v1/messages compatible con Anthropic, /v1/images/generations para Qwen-Image-2.1, /v1/systemone para decisiones al estilo de Jev, un panel web y un servidor MCP (coli mcp) para tareas de configuración.
- Datos y privacidad
- Funciona en local; el README no describe telemetría remota, solo un archivo local de historial de enrutado (.coli_usage). Escucha en localhost y solo exige clave con COLI_API_KEY. Los avisos de agosto de 2026 cubrían archivos de modelo manipulados y un endpoint /profile sin autenticación. Los pesos de Qwen-Image-2.1 son de uso no comercial.
- Coste a escala
- El software es gratuito; el coste es el hardware. GLM-5.2 decodifica a entre 9,0 y 9,2 tokens por segundo con todos los expertos residentes en seis RTX 5090, y Kimi K3 es una descarga de 1,56 TB a unos 9,4 segundos por token. La velocidad del disco marca el rendimiento; una segunda unidad NVMe midió un +37,5% en decodificación.
- Límites
- Los modelos más grandes funcionan a entre fracciones de token y pocos tokens por segundo; como máximo 16 conversaciones simultáneas; la salida con Vulkan puede diferir de la de CPU en alguna palabra; 141 issues y pull requests abiertos, muchos sobre la detección de GPU y las compilaciones CUDA en Windows.
Lo bueno
- Ejecuta modelos MoE de clase 744B con 16 a 24 GB de RAM leyendo los expertos desde disco
- C puro, sin GPU obligatoria; CUDA, Vulkan y Metal cuando están disponibles
- Endpoint /v1/systemone compatible con Jev, con Laya, GLiNER y Clef nativos
- Instalación en un paso que reanuda las descargas; v2.0.0 en octubre de 2026
Lo malo
- Tokens por segundo de una cifra o fraccionarios en los modelos más grandes
- Ocho avisos de seguridad el 5 de agosto de 2026, seis de gravedad alta
- No exige clave de API salvo que se defina COLI_API_KEY
- El rendimiento depende mucho de la velocidad del disco
Ideal para
Aficionados y desarrolladores que quieren ejecutar en su propia máquina modelos MoE abiertos de tamaño frontera, o probar decisiones al estilo de Jev.
Alternativas a colibri
colibri: preguntas frecuentes
- ¿Merece la pena colibri?
- Un motor en C que lee desde disco y hace funcionar modelos abiertos de 744B parámetros en un ordenador de sobremesa, despacio, con un sustituto local honesto de la API de decisiones de Jev como extra. Le damos un 4.2 sobre 5.
- ¿Cuánto cuesta colibri?
- Gratuito y de código abierto (Apache 2.0). Cada modelo conserva su propia licencia.
- ¿Qué inconvenientes tiene colibri?
- Tokens por segundo de una cifra o fraccionarios en los modelos más grandes; ocho avisos de seguridad el 5 de agosto de 2026, seis de gravedad alta; no exige clave de API salvo que se defina COLI_API_KEY; el rendimiento depende mucho de la velocidad del disco.
- ¿Para quién es colibri?
- Aficionados y desarrolladores que quieren ejecutar en su propia máquina modelos MoE abiertos de tamaño frontera, o probar decisiones al estilo de Jev.
- ¿Cuánto cuesta colibri para un equipo o en producción?
- El software es gratuito; el coste es el hardware. GLM-5.2 decodifica a entre 9,0 y 9,2 tokens por segundo con todos los expertos residentes en seis RTX 5090, y Kimi K3 es una descarga de 1,56 TB a unos 9,4 segundos por token. La velocidad del disco marca el rendimiento; una segunda unidad NVMe midió un +37,5% en decodificación.
- ¿Es colibri seguro para los datos de la empresa?
- Funciona en local; el README no describe telemetría remota, solo un archivo local de historial de enrutado (.coli_usage). Escucha en localhost y solo exige clave con COLI_API_KEY. Los avisos de agosto de 2026 cubrían archivos de modelo manipulados y un endpoint /profile sin autenticación. Los pesos de Qwen-Image-2.1 son de uso no comercial.
- ¿Cuáles son las mejores alternativas a colibri?
- Las alternativas más cercanas que hemos analizado son llama.cpp, Ollama, vLLM, SGLang y Laya.
Respuestas comprobadas el 23 oct 2026.