billion-context의 개요
billion-context는 bili 명령으로 실행하는 로컬 HTTP 프록시로, 코딩 에이전트와 모델 API 사이에 놓입니다. 모든 대화에 네 가지 도구를 추가합니다. compress는 오래된 메시지 구간을 요약으로 접고, decompress는 원문을 되살리며, search_context는 접힌 기록을 검색하고, acp_status는 컨텍스트 창이 얼마나 찼는지 알려 줍니다. 언제 호출할지는 모델이 정하고, 프록시는 상위 서비스로 보내는 내용을 고쳐 써서 접힌 구간이 접힌 채로 남게 합니다. 목표는 컨텍스트 한도에 닿지 않고 며칠씩 이어지는 세션이며, 동시에 프롬프트 앞부분을 고정해 제공업체의 프롬프트 캐시가 계속 적용되게 합니다.
연결되는 클라이언트는 약 스무 개 남짓으로, Claude Code, Codex, OpenCode, pi, Gemini CLI, Aider, Kimi Code, Copilot CLI 등이 포함됩니다. 방법은 세 가지입니다. 클라이언트 안의 네이티브 플러그인, 프록시와 클라이언트를 함께 띄우는 런처(bili claude, bili codex), 그리고 http://localhost:8787/bili/ 를 가리키는 기본 URL입니다. 기본 URL을 바꿀 수 없는 클라이언트는 인증서 가로채기로 처리합니다. 런처가 클라이언트에 로컬 인증 기관을 지정해, 알려진 모델 호스트로 가는 TLS 트래픽을 프록시가 복호화할 수 있게 합니다.
TypeScript로 작성되었고 npm으로 설치하며, 주로 개발자 한 명인 ranxianglei가 유지하고 있고 커밋 중 3,885건을 그가 작성했습니다. 라이선스는 MIT에 조항을 하나 더한 것입니다. 사용자가 볼 수 있는 제품에서 이를 쓰면 홈페이지, 문서, 크레딧 페이지 중 한 곳에 링크와 함께 billion-context를 밝혀야 합니다.
billion-context, 쓸 만한 가치가 있습니까?
billion-context는 실제 비용 문제를 다룹니다. 에이전트의 긴 세션은 컨텍스트 창을 채우고, 에이전트 자체의 요약 기능은 세부 내용을 버리며, 모든 토큰이 다음 턴에 다시 과금됩니다. 여기서는 모델이 직접 오래된 턴을 작은 구간 단위로 접고, 정확한 문장이 필요하면 다시 펼칠 수 있습니다. 대화의 끝부분만 바뀌므로 제공업체의 프리픽스 캐시가 계속 작동합니다. README에 따르면 건강한 세션은 95에서 97%의 캐시 적중률을 유지합니다.
근거는 이 분야 대부분의 프로젝트보다 풍부하지만 프로젝트 내부에서 나온 것입니다. 작성자의 논문은 세 대의 기기에서 4.5개월 동안 사용하며 174,327회의 모델 호출과 18.76B 입력 토큰을 처리하는 동안 204,800토큰 창을 한 번도 넘지 않았다고 보고합니다. 2026년 10월 31일 저장소에 추가된, 독립 평가라고 표기된 1,500개 항목 평가에서 billion-context는 LongMemEval-S에서 79.20%를 기록했습니다. 전체 컨텍스트는 83.20%, 가장 좋은 검색 구성은 62.60%였고, 비용은 $7.97 대비 $2.30이었습니다. 누가 평가를 수행했는지, 그 사람들이 프로젝트와 무관한지는 확인하지 못했습니다.
보안 부분은 설치 전에 끝까지 읽어야 합니다. 모든 프롬프트, 에이전트가 읽는 파일, API 키가 프록시를 거칩니다. 인증이 없습니다. 기본적으로 127.0.0.1에서 수신하지만 bili --host 0.0.0.0 과 Docker 이미지는 네트워크에서 수신하며, README도 신뢰할 수 있는 네트워크에서만 그렇게 하라고 권합니다. 기본 URL 설정이 없는 클라이언트의 경우 런처가 프록시 자체의 인증 기관을 클라이언트에 지정해, 허용 목록에 있는 모델 호스트로 가는 암호화 트래픽을 읽을 수 있게 합니다. 디버그 모드는 클라이언트 헤더를 기록하고, 세션 상태는 ~/.local/share/billion-context 아래 디스크에 저장됩니다.
또한 스스로를 바꿉니다. 프록시는 시작할 때와 3분마다 npm을 확인해 새 버전을 그 자리에서 설치하며, 적용 시점은 출시 후 15분에서 48시간 사이의 무작위 시점으로 분산됩니다. 실행 중인 프로세스는 재시작할 때 새 버전을 읽어 들입니다. 별도의 공지 채널도 같은 주기로 확인되며, 자동 업데이트를 꺼도 advisoryCheck를 false로 두지 않으면 이전 버전으로 되돌리는 것을 포함해 특정 버전을 강제로 설치할 수 있습니다. 망가진 릴리스를 빨리 고치기에는 합리적인 설계이지만, 프롬프트에 비밀 정보가 담기는 사람에게는 공급망 위험입니다. 프로젝트는 2026년 8월 이후 0.1.213까지 버전을 냈으며, 이런 속도라면 버전을 고정하는 편이 현명합니다.
더 소박한 대안은 클라이언트가 스스로 압축하게 두고 트래픽을 직접 유지하는 것입니다. context-mode와 rtk는 연결 경로에 끼지 않고 창에 들어가는 양을 줄입니다. billion-context는 더 멀리 가고 지원하는 클라이언트도 많지만, 있어야 할 곳은 자동 업데이트와 공지를 끈 개인 기기이지, 공유 서버나 운영 환경 자격 증명 근처가 아닙니다.
제 역할을 하는 곳
대규모 리팩터링을 위해 Claude Code 세션을 며칠 동안 열어 두는 1인 개발자
다시 시작해 코드베이스를 또 설명하지 않고 세션을 유지하고 싶음
bili claude 를 실행하면 프록시가 클라이언트와 함께 시작합니다. 창이 찰수록 오래된 턴이 접히고, 정확한 문장이 필요하면 decompress로 다시 열립니다. 자동 업데이트와 공지 확인을 끄고, /acp-cache 로 캐시 적 중률을 보며 토큰 비용이 실제로 줄어드는지 확인합니다.
장기 실행 에이전트의 기억 방식을 비교하는 연구자
공개 벤치마크에서 모델 주도 압축과 단순 검색을 비교하고 싶음
저장소에는 LongMemEval-S, ContextBench, MemoryAgentBench로 구성된 1,500개 항목 평가가 있으며, DeepSeek V4.1 Flash와 v0.1.202로 실행되었습니다. 79.20%와 F1 0.3097이라는 수치는 믿기 전에 다시 실행해 확인하는 것이 맞습니다.
도입 전 확인할 점
- 설정
- npm install -g billion-context --prefix=~/.local 을 실행한 뒤, bili plugin install <client>, 런처로서의 bili <client>, 또는 기본 URL http://localhost:8787/bili/<upstream> 중 하나를 씁니다. SQLite 저장소 때문에 Node 22 이상이 필요하며 Dockerfile이 포함되어 있습니다.
- 연동
- Claude Code, Codex, OpenCode, pi, omp, Gemini CLI, Qwen Code, Kimi Code, Aider, Copilot CLI, Amp, Kiro, Crush, Zed, goose, Hermes 등을 Anthropic Messages, OpenAI Chat Completions, Responses 형식으로 지원합니다. /bili/ 접두사로 다른 로컬 게이트웨이 앞에 둘 수도 있습니다.
- 데이터와 개인정보
- 모든 프롬프트와 자격 증명이 프록시를 거칩니다. 키 자체가 아니라 12자리 해시만 저장합니다. 로그는 ~/.local/state/billion-context/bili.log, 세션 상태는 ~/.local/share/billion-context 에 저장됩니다. 인증이 없고, --host 를 지정하지 않으면 127.0.0.1에서 수신하지만 Docker 이미지는 0.0.0.0:8787에서 수신합니다. 3분마다 npm에서 업데이트와 공지 패키지를 확인하고, GitHub 저장소에서 안내문을 가져옵니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이며 절감액은 세션에 따라 다릅니다. 프로젝트 평가에서 독립 세션당 비용은 LongMemEval-S에서 $7.97에서 $2.30으로, ContextBench에서 58.3% 줄었습니다. DeepSeek V4.1 Flash의 입력 요금은 1M 토큰당 $0.15입니다.
- 제한
- 요약은 세부 내용을 잃으며, LongMemEval-S 정확도는 전체 컨텍스트보다 4포인트 낮았습니다. 릴리스가 잦고, 열린 이슈와 풀 리퀘스트가 1,081건이며, 주 유지 관리자는 한 명입니다. 플러그인 모드와 런처 모드를 동시에 켜면 압축이 두 번 실행됩니다.
좋은 점
- 오래된 턴을 잘라 버리지 않고 모델이 직접 접고 펼침
- 프롬프트 앞부분을 고정해 제공업체 캐시가 계속 작동
- 플러그인, 런처, 기본 URL로 약 스무 개 남짓의 에이전트와 연동
- 장기 사용 데이터와 1,500개 항목 평가를 공개
아쉬운 점
- 모든 프롬프트와 API 키가 인증 없이 통과
- 기본값으로 3분마다 npm에서 자동 업데이트하며, 공지로 버전이 강제될 수 있음
- 일부 클라이언트는 로컬 인증 기관을 통한 TLS 가로채기가 필요
- 사용자에게 보이는 모든 것에 MIT 외의 출처 표시 조항 적용
추천 대상
자기 기기에서 코딩 에이전트로 아주 긴 세션을 돌리고, 버전을 고정하며 프록시의 동작을 점검할 의향이 있는 개인 개발자.
billion-context 대안
billion-context: 자주 묻는 질문
- billion-context, 쓸 만한 가치가 있습니까?
- 컨텍스트가 바닥나는 에이전트에 대한 영리한 해법이지만, 보내는 모든 프롬프트와 키를 보는 인증 없는 자동 업데이트 프록시로 제공되므로 대부분의 팀이 내주어야 할 수준보다 더 큰 신뢰를 요구합니다. 평점은 5점 만점에 3.4점입니다.
- billion-context의 가격은 얼마입니까?
- 무료 오픈 소스입니다(MIT에 출처 표시 조항 추가). 프록시가 전달하는 모든 토큰의 요금은 여전히 모델 제공업체에 냅니다.
- billion-context의 단점은 무엇입니까?
- 모든 프롬프트와 API 키가 인증 없이 통과; 기본값으로 3분마다 npm에서 자동 업데이트하며, 공지로 버전이 강제될 수 있음; 일부 클라이언트는 로컬 인증 기관을 통한 TLS 가로채기가 필요; 사용자에게 보이는 모든 것에 MIT 외의 출처 표시 조항 적용.
- billion-context에 적합한 사람은 누구입니까?
- 자기 기기에서 코딩 에이전트로 아주 긴 세션을 돌리고, 버전을 고정하며 프록시의 동작을 점검할 의향이 있는 개인 개발자.
- 팀이나 프로덕션 환경에서 billion-context의 비용은 얼마입니까?
- 소프트웨어는 무료이며 절감액은 세션에 따라 다릅니다. 프로젝트 평가에서 독립 세션당 비용은 LongMemEval-S에서 $7.97에서 $2.30으로, ContextBench에서 58.3% 줄었습니다. DeepSeek V4.1 Flash의 입력 요금은 1M 토큰당 $0.15입니다.
- billion-context에 회사 데이터를 맡겨도 안전합니까?
- 모든 프롬프트와 자격 증명이 프록시를 거칩니다. 키 자체가 아니라 12자리 해시만 저장합니다. 로그는 ~/.local/state/billion-context/bili.log, 세션 상태는 ~/.local/share/billion-context 에 저장됩니다. 인증이 없고, --host 를 지정하지 않으면 127.0.0.1에서 수신하지만 Docker 이미지는 0.0.0.0:8787에서 수신합니다. 3분마다 npm에서 업데이트와 공지 패키지를 확인하고, GitHub 저장소에서 안내문을 가져옵니다.
- billion-context의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 context-mode, rtk (Rust Token Killer) 및 Claude Code Router입니다.
답변 확인일: 2026년 11월 13일.