O que é colibri?
O colibri roda modelos abertos mixture-of-experts (MoE) muito grandes em máquinas que não conseguem mantê-los na memória. Um modelo MoE usa só alguns dos seus "experts" a cada token, então o colibri mantém em RAM a parte sempre usada e lê os experts do disco conforme o modelo os pede. É escrito em C, com um arquivo por família de modelos, não exige GPU e usa CUDA ou Vulkan quando há uma placa. O mínimo é 8 GB de RAM e 22 GB de disco para o menor modelo.
Treze motores rodam hoje, incluindo GLM-5.2 e 5.3, Kimi K3, DeepSeek V4 e V4.1 Flash, Qwen3.6, Qwen3.8-Flash-Next e o modelo de imagem Qwen-Image-2.1. Ele serve APIs compatíveis com OpenAI e Anthropic e um painel web.
Também tem um modo System One: POST /v1/systemone aceita a requisição do Jev da TypeSafe e devolve o formato de resposta do Jev. Qualquer modelo de chat que ele roda pode responder pontuando as opções permitidas, e três modelos de decisão rodam nativamente: Laya, GLiNER2.5-Decide e o Clef da Cloudflare. Uma rota anterior, /v1/brio, foi incorporada a este endpoint depois da versão 1.12.1. Vincenzo Fornaro o mantém sob Apache 2.0.
colibri vale a pena?
O colibri faz algo que o llama.cpp e o Ollama não se propõem a fazer: rodar modelos de centenas de bilhões de parâmetros em um desktop tratando o disco como parte da memória. Os próprios números dele são honestos sobre o custo. O GLM-5.2, um modelo de 744B, decodifica a 0.05 a 0.1 token por segundo a frio no laptop de 25 GB onde o projeto começou, 1.83 em um Ryzen AI Max+ 395 com 128 GB e 9.0 a 9.2 em seis RTX 5090. Modelos MoE menores são usáveis: o Qwen3.6-35B-A3B chega a 6.0 tokens por segundo em CPU e 30.0 com CUDA.
O projeto é popular e movimentado, com cerca de 43,500 estrelas no GitHub desde julho de 2026. A versão 2.0.0, de 6 de outubro de 2026, reuniu 169 pull requests, 88 de colaboradores externos, acrescentando Vulkan em todos os motores e até 16 conversas simultâneas. O README é incomumente franco sobre suas lacunas: os mantenedores dizem que eles mesmos não mediram uma GPU dedicada com Vulkan, e o primeiro número, 17 a 19 tokens por segundo para o Qwen3.6 em uma Tesla V100, veio de um usuário.
O histórico de segurança merece atenção, porque ele lê arquivos de modelo muito grandes em C. Em 5 de agosto de 2026, o projeto publicou oito alertas, seis classificados como altos, cobrindo estouros de heap e de pilha a partir de arquivos safetensors e de configuração manipulados, um max_tok negativo que gravava além do cache KV e um endpoint /profile sem autenticação. O servidor se vincula ao localhost por padrão e só exige chave quando COLI_API_KEY está definida, então qualquer uso além de uma máquina precisa dessa variável, e os arquivos de modelo devem vir de fontes em que você confia.
O gateway System One é um extra bem pensado. Um cliente do Jev troca apenas a URL base, e a documentação diz que os dois SDKs oficiais da TypeSafe são testados contra ele sem modificação. As probabilidades são do seu modelo, não do Jev, e não vão coincidir. Em CPU, o Laya responde em 219 ms e o GLiNER2.5-Decide em 294 ms, mas o Clef leva 20.4 segundos por requisição em int8, então modelos de decisão de 27B ainda pedem uma GPU.
Para servir muitos usuários em GPUs de verdade, vLLM e SGLang continuam sendo as ferramentas; 16 slots de KV servem a uma casa ou a uma equipe pequena, não a um produto. A comparação mais justa é com o llama.cpp, que cobre os modelos menores a partir da RAM, mas não tenta ler um checkpoint de 429 GB de um disco NVMe.
Onde ele se destaca
Uma pesquisadora com uma estação Ryzen AI Max+ 395 de 128 GB
Rodar o GLM-5.2 (744B) localmente para experimentos offline
Baixar o checkpoint int4 de 429 GB para um NVMe e rodar coli chat; o projeto mediu 1.83 token por segundo a quente nessa máquina. Não há conta de API, mas uma resposta longa leva minutos, então serve para perguntas em lote, não para programação interativa.
Um desenvolvedor com um desktop de 32 GB e uma Radeon 780M integrada
Apontar o Claude Code ou um editor compatível com OpenAI para um modelo local
O Qwen3.6-35B-A3B (um download de 23 GB) roda a partir da RAM a 6.0 tokens por segundo na CPU ou 9.9 com Vulkan na GPU integrada. Defina ANTHROPIC_BASE_URL para o servidor local; nada sai da máquina.
Uma equipe de produto prototipando roteamento de tickets com o Jev antes de comprar capacidade de API
Testar prompts de decisão offline
Rodar o Laya (1.7 GB de RAM, 219 ms por pergunta em um laptop i7) atrás de /v1/systemone e mudar só a TYPESAFE_BASE_URL. As probabilidades diferem das do Jev hospedado, então os limiares precisam ser recalibrados antes de voltar.
Antes de decidir
- Configuração
- ./start-here.sh no Linux ou macOS, START-HERE.bat no Windows: verifica RAM, disco e GPU, recomenda um modelo, compila ou baixa o motor e retoma downloads interrompidos. O mínimo é 8 GB de RAM e 22 GB de disco; os modelos grandes exigem centenas de GB de NVMe.
- Integrações
- /v1/chat/completions compatível com OpenAI, /v1/messages compatível com Anthropic, /v1/images/generations para o Qwen-Image-2.1, /v1/systemone para decisões no estilo Jev, um painel web e um servidor MCP (coli mcp) para tarefas de configuração.
- Dados e privacidade
- Roda localmente; o README não descreve telemetria remota, só um arquivo local de histórico de roteamento (.coli_usage). Vincula-se ao localhost e só exige chave com COLI_API_KEY. Os alertas de agosto de 2026 trataram de arquivos de modelo manipulados e de um endpoint /profile sem autenticação. Os pesos do Qwen-Image-2.1 são de uso não comercial.
- Custo em escala
- O software é gratuito; o custo é o hardware. O GLM-5.2 decodifica a 9.0 a 9.2 tokens por segundo com todos os experts residentes em seis RTX 5090, e o Kimi K3 é um download de 1.56 TB, a cerca de 9.4 segundos por token. A velocidade do disco define o desempenho; um segundo disco NVMe mediu +37.5% na decodificação.
- Limites
- Os maiores modelos rodam a frações ou a um dígito de tokens por segundo; no máximo 16 conversas simultâneas; a saída com Vulkan pode divergir da CPU em uma palavra; 141 issues e pull requests abertos, muitos sobre detecção de GPU e builds de CUDA no Windows.
O que é bom
- Roda modelos MoE da classe de 744B com 16 a 24 GB de RAM lendo os experts do disco
- C puro, sem GPU obrigatória; CUDA, Vulkan e Metal quando disponíveis
- Endpoint /v1/systemone compatível com o Jev, com Laya, GLiNER e Clef nativos
- Configuração em uma etapa que retoma downloads; v2.0.0 em outubro de 2026
O que não é
- Tokens por segundo de um dígito ou frações nos maiores modelos
- Oito alertas de segurança em 5 de agosto de 2026, seis altos
- Nenhuma chave de API exigida, a menos que COLI_API_KEY esteja definida
- O desempenho depende muito da velocidade do disco
Ideal para
Entusiastas e desenvolvedores que querem rodar modelos MoE abertos de tamanho de fronteira, ou prototipar decisões no estilo Jev, na própria máquina.
Alternativas ao colibri
colibri: perguntas frequentes
- colibri vale a pena?
- Um motor em C que lê do disco e faz modelos abertos de 744B parâmetros rodarem em um desktop, devagar, com um substituto local honesto para a API de decisões do Jev de quebra. Damos nota 4.2 de 5.
- Quanto custa colibri?
- Gratuito e de código aberto (Apache 2.0). Cada modelo mantém sua própria licença.
- Quais são as desvantagens de colibri?
- Tokens por segundo de um dígito ou frações nos maiores modelos; oito alertas de segurança em 5 de agosto de 2026, seis altos; nenhuma chave de API exigida, a menos que COLI_API_KEY esteja definida; o desempenho depende muito da velocidade do disco.
- Para quem colibri é indicado?
- Entusiastas e desenvolvedores que querem rodar modelos MoE abertos de tamanho de fronteira, ou prototipar decisões no estilo Jev, na própria máquina.
- Quanto custa colibri para uma equipe ou em produção?
- O software é gratuito; o custo é o hardware. O GLM-5.2 decodifica a 9.0 a 9.2 tokens por segundo com todos os experts residentes em seis RTX 5090, e o Kimi K3 é um download de 1.56 TB, a cerca de 9.4 segundos por token. A velocidade do disco define o desempenho; um segundo disco NVMe mediu +37.5% na decodificação.
- colibri é seguro para dados da empresa?
- Roda localmente; o README não descreve telemetria remota, só um arquivo local de histórico de roteamento (.coli_usage). Vincula-se ao localhost e só exige chave com COLI_API_KEY. Os alertas de agosto de 2026 trataram de arquivos de modelo manipulados e de um endpoint /profile sem autenticação. Os pesos do Qwen-Image-2.1 são de uso não comercial.
- Quais são as melhores alternativas ao colibri?
- As alternativas mais próximas que analisamos são llama.cpp, Ollama, vLLM, SGLang e Laya.
Respostas verificadas em 23 de out. de 2026.