Was ist billion-context?
billion-context ist ein lokaler HTTP-Proxy, gestartet mit dem Befehl bili, der zwischen einem Coding-Agenten und der API seines Modells sitzt. Er fügt jedem Gespräch vier Werkzeuge hinzu: compress faltet einen Bereich alter Nachrichten in eine Zusammenfassung, decompress holt das Original zurück, search_context durchsucht den gefalteten Verlauf und acp_status meldet, wie voll das Kontextfenster ist. Das Modell entscheidet, wann es sie aufruft, und der Proxy schreibt um, was er an den Anbieter schickt, damit gefaltete Bereiche gefaltet bleiben. Ziel ist eine Sitzung, die tagelang läuft, ohne an die Kontextgrenze zu stoßen, während der Anfang des Prompts stabil bleibt, damit der Prompt-Cache des Anbieters weiter greift.
Er verbindet sich mit rund zwei Dutzend Clients, darunter Claude Code, Codex, OpenCode, pi, Gemini CLI, Aider, Kimi Code und Copilot CLI, auf einem von drei Wegen: als natives Plugin im Client, über einen Launcher (bili claude, bili codex), der Proxy und Client zusammen startet, oder über eine Basis-URL, die auf http://localhost:8787/bili/ zeigt. Clients, deren Basis-URL sich nicht ändern lässt, werden per Zertifikats-Interception eingebunden: Der Launcher verweist sie auf eine lokale Zertifizierungsstelle, damit der Proxy ihren TLS-Verkehr zu bekannten Modell-Hosts entschlüsseln kann.
Er ist in TypeScript geschrieben, wird über npm installiert und vor allem von einem Entwickler gepflegt, ranxianglei, von dem 3.885 der Commits stammen. Die Lizenz ist MIT mit einer Zusatzklausel: Jedes für Nutzer sichtbare Produkt, das ihn verwendet, muss billion-context mit einem Link auf der Startseite, in der Dokumentation oder auf der Credits-Seite nennen.
Lohnt sich billion-context?
billion-context geht ein echtes Kostenproblem an. Lange Agentensitzungen füllen das Kontextfenster, die eigene Zusammenfassung des Agenten wirft Details weg, und jedes Token wird in der nächsten Runde erneut berechnet. Hier faltet das Modell alte Runden selbst, in kleinen Bereichen, und kann sie wieder aufklappen, wenn es den genauen Text braucht. Weil sich nur das Ende des Gesprächs ändert, funktioniert der Prefix-Cache des Anbieters weiter: Laut README hält eine gesunde Sitzung eine Cache-Trefferquote von 95 bis 97%.
Die Belege gehen über das hinaus, was die meisten Projekte dieser Art bieten, stammen aber aus dem Projekt selbst. Das Paper des Autors beschreibt 4,5 Monate Nutzung auf drei Rechnern, 174.327 Modellaufrufe und 18,76B Eingabe-Tokens, ohne ein Fenster von 204.800 Tokens zu überschreiten. Eine als unabhängig bezeichnete Auswertung mit 1.500 Aufgaben, am 31. Oktober 2026 ins Repository eingecheckt, sieht billion-context bei 79,20% auf LongMemEval-S, gegenüber 83,20% mit vollem Kontext und 62,60% für die beste Retrieval-Variante, bei $2.30 statt $7.97. Wer sie durchgeführt hat und ob diese Personen unabhängig vom Projekt sind, konnten wir nicht bestätigen.
Den Sicherheitsteil solltest du vor der Installation vollständig lesen. Jeder Prompt, jede Datei, die der Agent liest, und jeder API-Schlüssel laufen durch den Proxy. Er hat keine Authentifizierung; standardmäßig bindet er an 127.0.0.1, aber bili --host 0.0.0.0 und das Docker-Image lauschen im Netzwerk, und die README rät selbst, das nur in einem vertrauenswürdigen Netz zu tun. Für Clients ohne Einstellung für die Basis-URL verweist der Launcher den Client auf die eigene Zertifizierungsstelle des Proxys, damit dieser verschlüsselten Verkehr zu Modell-Hosts auf einer Whitelist lesen kann. Der Debug-Modus protokolliert Client-Header, und der Sitzungszustand liegt auf der Festplatte unter ~/.local/share/billion-context.
Außerdem verändert er sich selbst. Der Proxy fragt beim Start und alle 3 Minuten npm ab und installiert neuere Versionen an Ort und Stelle, gestaffelt zu einem zufälligen Zeitpunkt zwischen 15 Minuten und 48 Stunden nach der Veröffentlichung; der laufende Prozess übernimmt sie beim Neustart. Ein separater Advisory-Kanal, im selben Takt abgefragt, auch wenn Auto-Update aus ist, kann die Installation einer bestimmten Version erzwingen, auch einen Rückschritt, solange advisoryCheck nicht auf false steht. Das ist ein vernünftiger Ansatz, um eine kaputte Version schnell zu reparieren, und ein Lieferkettenrisiko für alle, deren Prompts Geheimnisse enthalten. Seit August 2026 hat das Projekt Versionen bis 0.1.213 veröffentlicht, ein Tempo, bei dem es sinnvoll ist, die Version festzuschreiben.
Die bescheidenere Alternative: Den Client selbst verdichten lassen und den Verkehr direkt halten; context-mode und rtk verkleinern, was ins Fenster kommt, ohne sich in die Verbindung zu setzen. billion-context geht weiter und arbeitet mit mehr Clients, gehört aber auf einen persönlichen Rechner mit abgeschaltetem Auto-Update und abgeschalteten Advisories, nicht auf einen gemeinsam genutzten Server oder in die Nähe von Produktionszugangsdaten.
Wo es sich lohnt
Ein Solo-Entwickler, der eine Claude-Code-Sitzung mehrere Tage für ein großes Refactoring offen hält
Die Sitzung am Leben halten, ohne neu zu starten und die Codebasis erneut zu erklären
Starte bili claude, damit der Proxy mit dem Client hochfährt; alte Runden werden gefaltet, während sich das Fenster füllt, und mit decompress wieder geöffnet, wenn der genaue Text nötig ist. Schalte Auto-Update und die Advisory-Prüfung ab und beobachte die Cache-Trefferquote mit /acp-cache, um zu sehen, ob die Token-Kosten wirklich sinken.
Eine Forscherin, die Gedächtnisverfahren für langlebige Agenten vergleicht
Vom Modell gesteuerte Kompression gegen einfaches Retrieval auf öffentlichen Benchmarks testen
Das Repository enthält die Auswertung mit 1.500 Aufgaben aus LongMemEval-S, ContextBench und MemoryAgentBench, gelaufen mit DeepSeek V4.1 Flash und v0.1.202. Sie zu wiederholen ist der Weg, die Werte von 79,20% und 0,3097 F1 zu prüfen, bevor man sich darauf verlässt.
Bevor du dich festlegst
- Einrichtung
- npm install -g billion-context --prefix=~/.local, danach eine der Varianten: bili plugin install <client>, bili <client> als Launcher oder eine Basis-URL http://localhost:8787/bili/<upstream>. Braucht Node 22 oder neuer für den SQLite-Speicher; ein Dockerfile liegt bei.
- Integrationen
- Claude Code, Codex, OpenCode, pi, omp, Gemini CLI, Qwen Code, Kimi Code, Aider, Copilot CLI, Amp, Kiro, Crush, Zed, goose, Hermes und weitere, über die Formate Anthropic Messages, OpenAI Chat Completions und Responses. Kann über das Präfix /bili/ vor ein anderes lokales Gateway geschaltet werden.
- Daten und Datenschutz
- Alle Prompts und Zugangsdaten laufen durch den Proxy; er speichert einen 12-stelligen Hash des Schlüssels, nicht den Schlüssel. Logs landen in ~/.local/state/billion-context/bili.log, der Sitzungszustand in ~/.local/share/billion-context. Keine Authentifizierung; bindet an 127.0.0.1, sofern --host nicht gesetzt ist, während das Docker-Image auf 0.0.0.0:8787 lauscht. Fragt alle 3 Minuten npm nach Updates und einem Advisory-Paket ab und lädt Ankündigungen aus dem GitHub-Repository.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Ersparnis hängt von deinen Sitzungen ab. In der Auswertung des Projekts sanken die Kosten pro unabhängiger Sitzung auf LongMemEval-S von $7.97 auf $2.30 und auf ContextBench um 58,3%, mit DeepSeek V4.1 Flash zu $0.15 pro 1M Eingabe-Tokens.
- Grenzen
- Zusammenfassungen verlieren Details, und die Genauigkeit auf LongMemEval-S lag 4 Punkte unter dem vollen Kontext. Häufige Releases, 1.081 offene Issues und Pull Requests und ein Hauptmaintainer. Plugin- und Launcher-Modus dürfen nicht gleichzeitig aktiv sein, sonst wird doppelt komprimiert.
Was gut ist
- Das Modell faltet alte Runden selbst und klappt sie wieder auf, statt sie durch Abschneiden zu verlieren
- Hält den Prompt-Anfang stabil, sodass das Caching des Anbieters weiter greift
- Arbeitet mit rund zwei Dutzend Agenten über Plugins, Launcher oder eine Basis-URL
- Veröffentlichte Langzeit-Nutzungsdaten und eine Auswertung mit 1.500 Aufgaben
Was nicht
- Jeder Prompt und jeder API-Schlüssel läuft hindurch, ohne Authentifizierung
- Aktualisiert sich standardmäßig alle 3 Minuten aus npm; Advisories können eine Version erzwingen
- Manche Clients brauchen TLS-Interception über eine lokale Zertifizierungsstelle
- Namensnennungsklausel zusätzlich zu MIT für alles, was Nutzer sehen
Am besten für
Einzelne Entwickler auf dem eigenen Rechner, die sehr lange Sitzungen mit Coding-Agenten fahren und bereit sind, Versionen festzuschreiben und zu prüfen, was der Proxy tut.
Alternativen zu billion-context
billion-context: häufige Fragen
- Lohnt sich billion-context?
- Eine kluge Antwort auf Agenten, denen der Kontext ausgeht, geliefert als sich selbst aktualisierender Proxy ohne Authentifizierung, der jeden Prompt und jeden Schlüssel sieht, den du sendest; er verlangt also mehr Vertrauen, als die meisten Teams ihm geben sollten. Wir bewerten es mit 3.4 von 5.
- Was kostet billion-context?
- Kostenlos und Open Source (MIT mit einer zusätzlichen Namensnennungsklausel). Deinen Modellanbieter bezahlst du weiterhin für jedes Token, das der Proxy weiterleitet.
- Welche Nachteile hat billion-context?
- Jeder Prompt und jeder API-Schlüssel läuft hindurch, ohne Authentifizierung; Aktualisiert sich standardmäßig alle 3 Minuten aus npm; Advisories können eine Version erzwingen; Manche Clients brauchen TLS-Interception über eine lokale Zertifizierungsstelle; Namensnennungsklausel zusätzlich zu MIT für alles, was Nutzer sehen.
- Für wen eignet sich billion-context?
- Einzelne Entwickler auf dem eigenen Rechner, die sehr lange Sitzungen mit Coding-Agenten fahren und bereit sind, Versionen festzuschreiben und zu prüfen, was der Proxy tut.
- Was kostet billion-context für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Ersparnis hängt von deinen Sitzungen ab. In der Auswertung des Projekts sanken die Kosten pro unabhängiger Sitzung auf LongMemEval-S von $7.97 auf $2.30 und auf ContextBench um 58,3%, mit DeepSeek V4.1 Flash zu $0.15 pro 1M Eingabe-Tokens.
- Ist billion-context sicher für Firmendaten?
- Alle Prompts und Zugangsdaten laufen durch den Proxy; er speichert einen 12-stelligen Hash des Schlüssels, nicht den Schlüssel. Logs landen in ~/.local/state/billion-context/bili.log, der Sitzungszustand in ~/.local/share/billion-context. Keine Authentifizierung; bindet an 127.0.0.1, sofern --host nicht gesetzt ist, während das Docker-Image auf 0.0.0.0:8787 lauscht. Fragt alle 3 Minuten npm nach Updates und einem Advisory-Paket ab und lädt Ankündigungen aus dem GitHub-Repository.
- Was sind die besten Alternativen zu billion-context?
- Die nächsten Alternativen, die wir getestet haben, sind context-mode, rtk (Rust Token Killer) und Claude Code Router.
Antworten geprüft am 13. Nov. 2026.