FreeToken의 개요
FreeToken은 토큰마다 여러 전문가 하위 네트워크 중 몇 개만 작동하는 오픈 가중치 전문가 혼합(MoE) 모델을 데이터센터 서버가 아닌 개인용 컴퓨터에서 돌립니다. GPU, CPU, 시스템 RAM과 그 사이의 연결을 하나의 자원으로 다뤄, 자주 쓰는 전문가는 GPU에 캐시하고 나머지는 스트리밍하거나 CPU에서 계산하며, 전문가 캐시와 KV 메모리의 배분은 재시작 없이 실행 중에 바꿀 수 있습니다.
함께 나온 arXiv 논문의 저자 11명에는 Ion Stoica, Matei Zaharia, Song Han, Kurt Keutzer가 포함되며, 20개가 넘는 MoE 모델을 지원하고 노트북에서 35B 모델, 게이밍 PC에서 284B 모델, 워크스테이션 GPU 한 장에서 753B 규모의 GLM-5.2를 서빙했다고 보고합니다. FreeToken은 OpenAI 및 Anthropic 호환 API를 제공하고, Claude Code, Codex, OpenCode를 자신에게 연결하도록 설정해 실행할 수 있으며, Windows와 Linux용 데스크톱 앱이 있습니다. Apache 2.0 라이선스이며 2026년 7월 20일에 만들어졌고 스타는 약 17,564개, 2026년 11월 9일에 v0.2.2를 냈습니다.
FreeToken, 쓸 만한 가치가 있습니까?
프런티어급 크기의 오픈 모델을 집에서 돌리려면 지금까지는 llama.cpp에서 강하게 양자화하거나 시스템 메모리를 거쳐 느릿느릿 돌리는 수밖에 없었습니다. FreeToken의 주장은 MoE 모델이라면 세 번째 길이 있다는 것입니다. 토큰마다 건드리는 전문가가 몇 개뿐이므로, 엔진이 어느 것이 어느 것인지 계속 다시 판단하기만 하면 소비자용 GPU가 바쁜 전문가를 맡고 CPU가 나머지를 처리할 수 있습니다. 대역폭에 맞춰 바뀌는 정책, 전역 LRU 전문가 캐시, 이중 버퍼 프리필 스트리밍이 바로 그 일을 위해 만들어졌고, 2026년 8월 17일에 제출된 논문은 워크스테이션 GPU 한 장에서 753B, 게이밍 PC에서 284B 모델을 돌렸다고 보고합니다.
실용적인 매력은 에이전트 연동입니다. FreeToken은 OpenAI와 Anthropic API를 모두 제공하므로, ft launch claude가 Claude Code의 제공자 설정을 쓰고, CLI가 없으면 설치하고, 로컬 서버를 가리키게 합니다. 의미 기반 앵커 체크포인트가 도구 호출과 사고 블록 경계에서 순환 상태와 KV 캐시를 저장해, 자기 컨텍스트를 편집하는 에이전트라도 프롬프트 전체를 다시 계산하지 않아도 됩니다. v0.2.2에서 추측 디코딩이 추가되어, H100에서 DFlash 2 초안으로 Qwen3.8-27B가 초당 50.1토큰에서 215.0토큰으로 4.29배 빨라졌습니다. 다만 이것은 데이터센터용 카드이지, 프로젝트가 내세우는 소비자용 하드웨어가 아닙니다.
보안 기본값은 합리적입니다. 서버는 127.0.0.1의 포트 1919에 바인딩되며, --api-key나 FREETOKEN_API_KEY를 설정하지 않으면 API 키가 꺼져 있습니다. 다른 주소에 바인딩하기 전에 키를 설정하십시오. 모델 가중치는 Hugging Face나 로컬 파일에서 가져옵니다.
한계는 젊고 빠르게 움직이는 프로젝트의 것입니다. 지원은 NVIDIA RTX 30, 40, 50 시리즈뿐이라 Mac이나 AMD 카드용은 없습니다. 저장소는 2026년 7월 20일에 만들어졌고 열린 이슈가 492개이며, 문서에는 벌써 오래된 FTW 체크포인트를 고치는 안내가 있고, 추측 디코딩은 아직 GPU 두 장 이상의 텐서 병렬에서는 동작하지 않습니다. Ollama와 비교하면 거대한 MoE 모델에서는 훨씬 유능하지만 그 밖의 모든 면에서는 훨씬 덜 다듬어져 있습니다.
제 역할을 하는 곳
RTX 50 시리즈 게이밍 PC와 RAM 128 GB를 가진 개발자
코드를 제공자에게 보내지 않고 큰 오픈 모델로 Claude Code 쓰기
지원되는 MoE 체크포인트를 ft serve로 띄운 뒤 ft launch claude로 Claude Code를 로컬 Anthropic 호환 엔드포인트에 연결합니다. 토큰 비용이 없고, 속도는 VRAM에 들어가는 전문가 수에 달려 있습니다.
사내 보고서를 위해 로컬 추론을 측정하는 연구 엔지니어
소비자용 하드웨어에서 MoE 서빙을 llama.cpp와 비교하기
ft bench bw를 실행해 CPU-GPU 하이브리드 정책이 머신을 측정하게 한 뒤, 같은 GGUF를 두 엔진에서 돌리고 타이밍 보고서를 켠 채 비교합니다.
도입 전 확인할 점
- 설정
- flashml.ai에서 Windows나 Linux용 데스크톱 앱을 설치하거나 uv pip install "freetoken[accel]"을 실행한 뒤, Hugging Face ID, 로컬 폴더, GGUF 중 하나로 ft serve --model을 실행합니다. 로그에 127.0.0.1:1919가 뜨면 준비된 것입니다.
- 연동
- OpenAI API(/v1/chat/completions, /v1/responses)와 Anthropic API(/v1/messages), Claude Code, Codex, OpenCode, OpenClaw, Hermes, DeepSeek Harness용 ft launch, GGUF, MXFP4, NVFP4, FP8, BF16 체크포인트, 터미널 채팅 셸.
- 데이터와 개인정보
- 모두 내 머신에서 실행됩니다. 서버는 기본으로 127.0.0.1:1919에서 대기하고 따로 설정하지 않으면 API 키가 없으므로, 네트워크에 노출하기 전에 키를 추가하십시오. ft launch는 선택한 에이전트의 제공자 설정을 다시 쓰며, --dry-run으로 변경 내용을 먼저 볼 수 있습니다.
- 대규모 사용 시 비용
- 라이선스 비용은 없습니다. 비용은 하드웨어로, 모델에 맞는 시스템 RAM과 최신 NVIDIA GPU, 그리고 전기 요금입니다.
- 제한
- NVIDIA RTX 30, 40, 50 시리즈 전용, 추측 디코딩은 TP 1 초과와 일부 윈도 어텐션 모델에서 미지원, 열린 이슈 492개, Windows와 WSL은 고정 메모리에 제한이 있어 CPU 레이어 자동 설정이 필요.
좋은 점
- 전문가를 GPU, CPU, RAM에 나눠 매우 큰 MoE 모델을 실행
- OpenAI와 Anthropic API, Claude Code, Codex, OpenCode를 명령 하나로 설정
- 컨텍스트 편집을 아는 캐시로 에이전트 프롬프트 재계산을 피함
- 기본으로 localhost에 바인딩, 모든 경로에 선택적 API 키
아쉬운 점
- NVIDIA RTX 30, 40, 50 시리즈만 지원, Mac과 AMD 미지원
- 출시 넉 달 만에 열린 이슈 492개
- 대표 속도 향상은 소비자용 카드가 아닌 H100에서 측정
- 문서에 벌써 오래된 체크포인트 복구 안내가 필요
추천 대상
최신 NVIDIA 게이밍 또는 워크스테이션 GPU를 갖고 있고, 아주 큰 오픈 MoE 모델을 코딩 에이전트 뒤에서 로컬로 돌리고 싶은 개발자.
FreeToken 대안
FreeToken: 자주 묻는 질문
- FreeToken, 쓸 만한 가치가 있습니까?
- FreeToken은 284B급 MoE 모델을 게이밍 PC에서 돌리려는 지금까지 가장 진지한 시도이며 믿을 만한 연구팀이 뒷받침하지만, 나온 지 넉 달이고 NVIDIA 전용이며 열린 이슈가 492개입니다. 평점은 5점 만점에 4.0점입니다.
- FreeToken의 가격은 얼마입니까?
- 데스크톱 앱을 포함해 무료 오픈 소스(Apache 2.0)입니다. 비용은 하드웨어와 전기 요금뿐입니다.
- FreeToken의 단점은 무엇입니까?
- NVIDIA RTX 30, 40, 50 시리즈만 지원, Mac과 AMD 미지원; 출시 넉 달 만에 열린 이슈 492개; 대표 속도 향상은 소비자용 카드가 아닌 H100에서 측정; 문서에 벌써 오래된 체크포인트 복구 안내가 필요.
- FreeToken에 적합한 사람은 누구입니까?
- 최신 NVIDIA 게이밍 또는 워크스테이션 GPU를 갖고 있고, 아주 큰 오픈 MoE 모델을 코딩 에이전트 뒤에서 로컬로 돌리고 싶은 개발자.
- 팀이나 프로덕션 환경에서 FreeToken의 비용은 얼마입니까?
- 라이선스 비용은 없습니다. 비용은 하드웨어로, 모델에 맞는 시스템 RAM과 최신 NVIDIA GPU, 그리고 전기 요금입니다.
- FreeToken에 회사 데이터를 맡겨도 안전합니까?
- 모두 내 머신에서 실행됩니다. 서버는 기본으로 127.0.0.1:1919에서 대기하고 따로 설정하지 않으면 API 키가 없으므로, 네트워크에 노출하기 전에 키를 추가하십시오. ft launch는 선택한 에이전트의 제공자 설정을 다시 쓰며, --dry-run으로 변경 내용을 먼저 볼 수 있습니다.
- FreeToken의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Ollama, AirLLM 및 SGLang입니다.
답변 확인일: 2026년 11월 21일.