¿Qué es billion-context?
billion-context es un proxy HTTP local, que se ejecuta con el comando bili, situado entre un agente de programación y la API de su modelo. Añade cuatro herramientas a cada conversación: compress pliega un rango de mensajes antiguos en un resumen, decompress recupera el original, search_context busca en el historial plegado y acp_status informa de lo lleno que está el contexto. El modelo decide cuándo llamarlas, y el proxy reescribe lo que envía al proveedor para que los rangos plegados sigan plegados. El objetivo es una sesión que dure días sin llegar al límite de contexto, manteniendo estable el inicio del prompt para que la caché de prompts del proveedor siga funcionando.
Se conecta a unas dos docenas de clientes, entre ellos Claude Code, Codex, OpenCode, pi, Gemini CLI, Aider, Kimi Code y Copilot CLI, de una de tres formas: un plugin nativo dentro del cliente, un lanzador (bili claude, bili codex) que arranca el proxy y el cliente a la vez, o una URL base que apunta a http://localhost:8787/bili/. Los clientes que no permiten cambiar su URL base se gestionan interceptando certificados: el lanzador los dirige a una autoridad de certificación local para que el proxy pueda descifrar su tráfico TLS hacia hosts de modelos conocidos.
Está escrito en TypeScript, se instala desde npm y lo mantiene sobre todo un desarrollador, ranxianglei, autor de 3,885 de sus commits. La licencia es MIT con un término añadido: cualquier producto visible para usuarios que lo use debe citar billion-context con un enlace en su página principal, su documentación o su página de créditos.
¿Merece la pena billion-context?
billion-context ataca un coste real. Las sesiones largas de un agente llenan la ventana de contexto, el resumidor propio del agente tira detalles y cada token se vuelve a facturar en el siguiente turno. Aquí el propio modelo pliega los turnos antiguos, en rangos pequeños, y puede desplegarlos cuando necesita el texto exacto. Como solo cambia el final de la conversación, la caché de prefijos del proveedor sigue funcionando: el README dice que una sesión sana mantiene una tasa de aciertos de caché del 95 al 97%.
Las pruebas superan a las de la mayoría de proyectos de esta categoría, pero vienen de dentro del proyecto. El artículo del autor recoge 4.5 meses de uso en tres máquinas, 174,327 llamadas al modelo y 18.76B tokens de entrada sin desbordar una ventana de 204,800 tokens. Una evaluación de 1,500 elementos presentada como independiente, añadida al repositorio el 31 de octubre de 2026, da a billion-context un 79.20% en LongMemEval-S frente al 83.20% del contexto completo y al 62.60% de la mejor configuración de recuperación, con un coste de $2.30 frente a $7.97. No hemos podido confirmar quién la hizo ni que no tenga relación con el proyecto.
La parte de seguridad hay que leerla entera antes de instalar. Cada prompt, cada archivo que lee el agente y cada clave de API pasan por el proxy. No tiene autenticación; escucha en 127.0.0.1 por defecto, pero bili --host 0.0.0.0 y la imagen de Docker escuchan en la red, y el propio README aconseja hacerlo solo en una red de confianza. Para los clientes sin ajuste de URL base, el lanzador dirige el cliente a la autoridad de certificación del propio proxy para que pueda leer el tráfico cifrado hacia hosts de modelos de una lista blanca. El modo de depuración registra las cabeceras del cliente, y el estado de las sesiones se guarda en disco en ~/.local/share/billion-context.
Además se modifica a sí mismo. El proxy consulta npm al arrancar y cada 3 minutos e instala las versiones nuevas en su sitio, escalonadas en un momento aleatorio entre 15 minutos y 48 horas después de su publicación; el proceso en marcha las carga al reiniciar. Un canal de avisos aparte, consultado con la misma frecuencia incluso con la actualización automática desactivada, puede forzar la instalación de una versión concreta, incluida una vuelta atrás, salvo que advisoryCheck se ponga en false. Es un diseño razonable para corregir rápido una versión rota, y una exposición de cadena de suministro para quien tenga secretos en sus prompts. El proyecto ha publicado versiones hasta la 0.1.213 desde agosto de 2026, un ritmo que hace sensato fijar la versión.
La alternativa más limitada es dejar que el cliente compacte por su cuenta y mantener el tráfico directo; context-mode y rtk reducen lo que entra en la ventana sin ponerse en medio de la conexión. billion-context llega más lejos y funciona con más clientes, pero su sitio es una máquina personal con la actualización automática y los avisos desactivados, no un servidor compartido ni la cercanía de credenciales de producción.
Dónde se gana su sitio
Un desarrollador autónomo con una sesión de Claude Code abierta varios días en una refactorización grande
Mantener viva la sesión sin reiniciarla ni volver a explicar el código
Ejecuta bili claude para que el proxy arranque con el cliente; los turnos antiguos se pliegan a medida que se llena la ventana y se reabren con decompress cuando hace falta el texto exacto. Desactiva la actualización automática y la comprobación de avisos, y vigila la tasa de aciertos de caché con /acp-cache para ver si el gasto en tokens baja de verdad.
Una investigadora que compara métodos de memoria para agentes de larga duración
Probar la compresión dirigida por el modelo frente a la recuperación simple en benchmarks públicos
El repositorio incluye la evaluación de 1,500 elementos con LongMemEval-S, ContextBench y MemoryAgentBench, hecha con DeepSeek V4.1 Flash y la v0.1.202. Repetirla es la forma de comprobar las cifras de 79.20% y 0.3097 de F1 antes de fiarse de ellas.
Antes de decidirte
- Puesta en marcha
- npm install -g billion-context --prefix=~/.local, y después una de estas opciones: bili plugin install <client>, bili <client> como lanzador, o una URL base http://localhost:8787/bili/<upstream>. Necesita Node 22 o posterior para su almacenamiento SQLite; incluye un Dockerfile.
- Integraciones
- Claude Code, Codex, OpenCode, pi, omp, Gemini CLI, Qwen Code, Kimi Code, Aider, Copilot CLI, Amp, Kiro, Crush, Zed, goose, Hermes y otros, con los formatos Anthropic Messages, OpenAI Chat Completions y Responses. Puede ponerse delante de otra pasarela local mediante el prefijo /bili/.
- Datos y privacidad
- Todos los prompts y credenciales pasan por el proxy; guarda un hash de 12 caracteres de la clave, no la clave. Los registros van a ~/.local/state/billion-context/bili.log y el estado de las sesiones a ~/.local/share/billion-context. Sin autenticación; escucha en 127.0.0.1 salvo que se indique --host, mientras que la imagen de Docker escucha en 0.0.0.0:8787. Consulta npm cada 3 minutos en busca de actualizaciones y de un paquete de avisos, y descarga anuncios del repositorio de GitHub.
- Coste a escala
- El software es gratuito; el ahorro depende de tus sesiones. En la evaluación del proyecto, el coste por sesión independiente bajó de $7.97 a $2.30 en LongMemEval-S y un 58.3% en ContextBench, con DeepSeek V4.1 Flash a $0.15 por 1M de tokens de entrada.
- Límites
- Los resúmenes pierden detalle, y la precisión en LongMemEval-S quedó 4 puntos por debajo del contexto completo. Versiones frecuentes, 1,081 issues y pull requests abiertos y un solo mantenedor principal. Los modos plugin y lanzador no deben estar activos a la vez, o la compresión se ejecuta dos veces.
Lo bueno
- El propio modelo pliega y despliega los turnos antiguos en vez de perderlos por truncado
- Mantiene estable el prefijo del prompt, así que la caché del proveedor sigue funcionando
- Funciona con unas dos docenas de agentes mediante plugins, lanzadores o una URL base
- Publica datos de uso prolongado y una evaluación de 1,500 elementos
Lo malo
- Cada prompt y clave de API pasa por él, sin autenticación
- Se actualiza solo desde npm cada 3 minutos por defecto; los avisos pueden forzar una versión
- Algunos clientes necesitan interceptación TLS mediante una autoridad de certificación local
- Término de atribución sobre MIT para todo lo que vean los usuarios
Ideal para
Desarrolladores individuales en su propia máquina que ejecutan sesiones muy largas con agentes de programación y están dispuestos a fijar versiones y revisar lo que hace el proxy.
Alternativas a billion-context
billion-context: preguntas frecuentes
- ¿Merece la pena billion-context?
- Una respuesta ingeniosa a los agentes que se quedan sin contexto, entregada como un proxy sin autenticación que se actualiza solo y ve cada prompt y clave que envías, así que pide más confianza de la que la mayoría de equipos debería darle. Le damos un 3.4 sobre 5.
- ¿Cuánto cuesta billion-context?
- Gratuito y de código abierto (MIT con un término de atribución añadido). Sigues pagando a tu proveedor de modelos por cada token que el proxy reenvía.
- ¿Qué inconvenientes tiene billion-context?
- Cada prompt y clave de API pasa por él, sin autenticación; se actualiza solo desde npm cada 3 minutos por defecto; los avisos pueden forzar una versión; algunos clientes necesitan interceptación TLS mediante una autoridad de certificación local; término de atribución sobre MIT para todo lo que vean los usuarios.
- ¿Para quién es billion-context?
- Desarrolladores individuales en su propia máquina que ejecutan sesiones muy largas con agentes de programación y están dispuestos a fijar versiones y revisar lo que hace el proxy.
- ¿Cuánto cuesta billion-context para un equipo o en producción?
- El software es gratuito; el ahorro depende de tus sesiones. En la evaluación del proyecto, el coste por sesión independiente bajó de $7.97 a $2.30 en LongMemEval-S y un 58.3% en ContextBench, con DeepSeek V4.1 Flash a $0.15 por 1M de tokens de entrada.
- ¿Es billion-context seguro para los datos de la empresa?
- Todos los prompts y credenciales pasan por el proxy; guarda un hash de 12 caracteres de la clave, no la clave. Los registros van a ~/.local/state/billion-context/bili.log y el estado de las sesiones a ~/.local/share/billion-context. Sin autenticación; escucha en 127.0.0.1 salvo que se indique --host, mientras que la imagen de Docker escucha en 0.0.0.0:8787. Consulta npm cada 3 minutos en busca de actualizaciones y de un paquete de avisos, y descarga anuncios del repositorio de GitHub.
- ¿Cuáles son las mejores alternativas a billion-context?
- Las alternativas más cercanas que hemos analizado son context-mode, rtk (Rust Token Killer) y Claude Code Router.
Respuestas comprobadas el 13 nov 2026.