O que é billion-context?
billion-context é um proxy HTTP local, executado com o comando bili, que fica entre um agente de programação e a API do modelo. Ele adiciona quatro ferramentas a cada conversa: compress dobra um intervalo de mensagens antigas em um resumo, decompress traz o original de volta, search_context pesquisa o histórico dobrado e acp_status informa o quanto a janela de contexto está cheia. O modelo decide quando chamá-las, e o proxy reescreve o que envia ao provedor para que os intervalos dobrados continuem dobrados. O objetivo é uma sessão que dure dias sem atingir o limite de contexto, mantendo estável o início do prompt para que o cache de prompts do provedor continue valendo.
Ele se conecta a cerca de duas dezenas de clientes, entre eles Claude Code, Codex, OpenCode, pi, Gemini CLI, Aider, Kimi Code e Copilot CLI, de uma de três formas: um plugin nativo dentro do cliente, um lançador (bili claude, bili codex) que inicia o proxy e o cliente juntos, ou uma URL base apontando para http://localhost:8787/bili/. Clientes que não permitem mudar a URL base são tratados com interceptação de certificados: o lançador aponta esses clientes para uma autoridade certificadora local, para que o proxy possa descriptografar o tráfego TLS deles para hosts de modelos conhecidos.
É escrito em TypeScript, instalado pelo npm e mantido principalmente por um desenvolvedor, ranxianglei, autor de 3.885 dos commits. A licença é MIT com um termo adicional: qualquer produto visível para usuários que o utilize deve dar crédito ao billion-context com um link na página inicial, na documentação ou na página de créditos.
billion-context vale a pena?
billion-context ataca um custo real. Sessões longas de agentes enchem a janela de contexto, o resumidor do próprio agente descarta detalhes, e cada token é cobrado de novo no turno seguinte. Aqui o próprio modelo dobra os turnos antigos, em intervalos pequenos, e pode desdobrá-los quando precisa do texto exato. Como só o fim da conversa muda, o cache de prefixo do provedor continua funcionando: o README diz que uma sessão saudável mantém uma taxa de acerto de cache de 95 a 97%.
As evidências vão além do que a maioria dos projetos da categoria oferece, mas vêm de dentro do projeto. O artigo do autor relata 4.5 meses de uso em três máquinas, 174.327 chamadas ao modelo e 18.76B tokens de entrada sem estourar uma janela de 204.800 tokens. Uma avaliação de 1.500 itens apresentada como independente, adicionada ao repositório em 31 de outubro de 2026, dá ao billion-context 79.20% no LongMemEval-S, contra 83.20% com o contexto completo e 62.60% na melhor configuração de recuperação, a $2.30 contra $7.97. Não conseguimos confirmar quem a fez nem que essas pessoas não têm ligação com o projeto.
A parte de segurança precisa ser lida inteira antes da instalação. Cada prompt, cada arquivo que o agente lê e cada chave de API passam pelo proxy. Ele não tem autenticação; escuta em 127.0.0.1 por padrão, mas bili --host 0.0.0.0 e a imagem Docker escutam na rede, e o próprio README recomenda fazer isso só em uma rede confiável. Para clientes sem ajuste de URL base, o lançador aponta o cliente para a autoridade certificadora do próprio proxy, para que ele consiga ler o tráfego criptografado para hosts de modelos em uma lista de permissões. O modo de depuração registra os cabeçalhos do cliente, e o estado das sessões fica em disco em ~/.local/share/billion-context.
Ele também se altera sozinho. O proxy consulta o npm ao iniciar e a cada 3 minutos e instala versões novas no lugar, escalonadas em um momento aleatório entre 15 minutos e 48 horas após o lançamento; o processo em execução as adota ao reiniciar. Um canal de avisos separado, consultado na mesma frequência mesmo com a atualização automática desligada, pode forçar a instalação de uma versão específica, inclusive uma volta atrás, a menos que advisoryCheck seja false. É um desenho razoável para corrigir rápido uma versão quebrada, e uma exposição na cadeia de suprimentos para quem tem segredos nos prompts. O projeto lançou versões até a 0.1.213 desde agosto de 2026, um ritmo que torna sensato fixar a versão.
A alternativa mais modesta é deixar o cliente compactar por conta própria e manter o tráfego direto; context-mode e rtk reduzem o que entra na janela sem ficar no meio da conexão. billion-context vai mais longe e funciona com mais clientes, mas o lugar dele é uma máquina pessoal com atualização automática e avisos desligados, não um servidor compartilhado nem perto de credenciais de produção.
Onde ele se destaca
Um desenvolvedor autônomo com uma sessão do Claude Code aberta por vários dias numa refatoração grande
Manter a sessão viva sem reiniciar e explicar a base de código de novo
Rode bili claude para o proxy subir junto com o cliente; turnos antigos são dobrados à medida que a janela enche e reabertos com decompress quando o texto exato é necessário. Desligue a atualização automática e a verificação de avisos, e acompanhe a taxa de acerto de cache com /acp-cache para ver se o gasto com tokens cai de fato.
Uma pesquisadora que compara métodos de memória para agentes de longa duração
Testar compressão guiada pelo modelo contra recuperação simples em benchmarks públicos
O repositório traz a avaliação de 1.500 itens com LongMemEval-S, ContextBench e MemoryAgentBench, feita com DeepSeek V4.1 Flash e a v0.1.202. Repeti-la é a forma de conferir os números de 79.20% e 0.3097 de F1 antes de confiar neles.
Antes de decidir
- Configuração
- npm install -g billion-context --prefix=~/.local, e depois uma das opções: bili plugin install <client>, bili <client> como lançador, ou uma URL base http://localhost:8787/bili/<upstream>. Precisa de Node 22 ou mais recente para o armazenamento SQLite; inclui um Dockerfile.
- Integrações
- Claude Code, Codex, OpenCode, pi, omp, Gemini CLI, Qwen Code, Kimi Code, Aider, Copilot CLI, Amp, Kiro, Crush, Zed, goose, Hermes e outros, nos formatos Anthropic Messages, OpenAI Chat Completions e Responses. Pode ficar na frente de outro gateway local pelo prefixo /bili/.
- Dados e privacidade
- Todos os prompts e credenciais passam pelo proxy; ele guarda um hash de 12 caracteres da chave, não a chave. Os logs vão para ~/.local/state/billion-context/bili.log e o estado das sessões para ~/.local/share/billion-context. Sem autenticação; escuta em 127.0.0.1 a menos que --host seja definido, enquanto a imagem Docker escuta em 0.0.0.0:8787. Consulta o npm a cada 3 minutos em busca de atualizações e de um pacote de avisos, e baixa anúncios do repositório no GitHub.
- Custo em escala
- O software é gratuito; a economia depende das suas sessões. Na avaliação do projeto, o custo por sessão independente caiu de $7.97 para $2.30 no LongMemEval-S e 58.3% no ContextBench, com DeepSeek V4.1 Flash a $0.15 por 1M de tokens de entrada.
- Limites
- Os resumos perdem detalhes, e a precisão no LongMemEval-S ficou 4 pontos abaixo do contexto completo. Lançamentos frequentes, 1.081 issues e pull requests abertos e um único mantenedor principal. Os modos plugin e lançador não podem ficar ativos ao mesmo tempo, ou a compressão roda duas vezes.
O que é bom
- O próprio modelo dobra e desdobra turnos antigos em vez de perdê-los por truncamento
- Mantém o prefixo do prompt estável, então o cache do provedor continua funcionando
- Funciona com cerca de duas dezenas de agentes por plugins, lançadores ou URL base
- Publicou dados de uso de longo prazo e uma avaliação de 1.500 itens
O que não é
- Cada prompt e chave de API passa por ele, sem autenticação
- Atualiza-se sozinho pelo npm a cada 3 minutos por padrão; avisos podem forçar uma versão
- Alguns clientes exigem interceptação TLS por uma autoridade certificadora local
- Termo de atribuição além da MIT para tudo o que os usuários veem
Ideal para
Desenvolvedores individuais, na própria máquina, que fazem sessões muito longas com agentes de programação e estão dispostos a fixar versões e revisar o que o proxy faz.
Alternativas ao billion-context
billion-context: perguntas frequentes
- billion-context vale a pena?
- Uma resposta inteligente para agentes que ficam sem contexto, entregue como um proxy sem autenticação que se atualiza sozinho e vê cada prompt e chave que você envia, então pede mais confiança do que a maioria das equipes deveria dar. Damos nota 3.4 de 5.
- Quanto custa billion-context?
- Gratuito e de código aberto (MIT com um termo de atribuição adicional). Você continua pagando ao seu provedor de modelos por cada token que o proxy repassa.
- Quais são as desvantagens de billion-context?
- Cada prompt e chave de API passa por ele, sem autenticação; atualiza-se sozinho pelo npm a cada 3 minutos por padrão; avisos podem forçar uma versão; alguns clientes exigem interceptação TLS por uma autoridade certificadora local; termo de atribuição além da MIT para tudo o que os usuários veem.
- Para quem billion-context é indicado?
- Desenvolvedores individuais, na própria máquina, que fazem sessões muito longas com agentes de programação e estão dispostos a fixar versões e revisar o que o proxy faz.
- Quanto custa billion-context para uma equipe ou em produção?
- O software é gratuito; a economia depende das suas sessões. Na avaliação do projeto, o custo por sessão independente caiu de $7.97 para $2.30 no LongMemEval-S e 58.3% no ContextBench, com DeepSeek V4.1 Flash a $0.15 por 1M de tokens de entrada.
- billion-context é seguro para dados da empresa?
- Todos os prompts e credenciais passam pelo proxy; ele guarda um hash de 12 caracteres da chave, não a chave. Os logs vão para ~/.local/state/billion-context/bili.log e o estado das sessões para ~/.local/share/billion-context. Sem autenticação; escuta em 127.0.0.1 a menos que --host seja definido, enquanto a imagem Docker escuta em 0.0.0.0:8787. Consulta o npm a cada 3 minutos em busca de atualizações e de um pacote de avisos, e baixa anúncios do repositório no GitHub.
- Quais são as melhores alternativas ao billion-context?
- As alternativas mais próximas que analisamos são context-mode, rtk (Rust Token Killer) e Claude Code Router.
Respostas verificadas em 13 de nov. de 2026.