평범한 PC에서 거대한 AI 모델 돌리기: Colibri, Strata, AirLLM, FreeToken 비교

작성자 Sheela · 2026년 11월 5일

이제 파라미터 수천억 개짜리 모델을 데스크톱 PC에서 실행할 수 있습니다. 그래야 하는지는 한 가지 질문에 달려 있습니다. 모델의 어떤 부분이 SSD, RAM, 그래픽 카드 사이를 얼마나 자주 오가야 하느냐입니다. 오픈소스 엔진 네 개가 이 질문에 각기 다르게 답하며, 그 답에 따라 몇 초 만에 답을 받을지, 15초마다 단어 하나를 받을지가 정해집니다.

애초에 이게 가능한 이유

대형 오픈 모델 대부분은 이제 mixture-of-experts(MoE) 모델입니다. 각 모델은 작은 전문 네트워크들의 집합이며, 단어 하나마다 그중 몇 개만 일을 합니다. 7,440억(744 billion) 파라미터 모델이라도 토큰당 가중치의 몇 퍼센트만 쓸 수 있습니다. 바쁜 expert를 프로세서 가까이에 두고 나머지는 필요할 때 가져올 수 있다면, 데이터센터만큼의 메모리는 필요 없습니다.

그래픽 메모리를 책상, RAM을 등 뒤의 책장, SSD를 복도 끝 도서관이라고 생각해 보십시오. 필요한 순간 책상 위에 없는 expert는 모두 왕복 한 번의 비용이 들며, 아래 엔진들은 왕복을 더 적고 짧게 만드는 서로 다른 전략입니다.

Colibri: 기다릴 수 있다면 어떤 모델이든

Colibri(4.2)는 디스크를 메모리의 일부로 다루는 순수 C 엔진입니다. 가장 많이 쓰는 가중치는 RAM에 두고 나머지 expert는 NVMe 드라이브에서 스트리밍합니다. 덕분에 거대한 모델도 평범한 기기에서 시작되지만, README가 숨기지 않고 밝히는 대가가 있습니다. 744B 모델인 GLM-5.2는 프로젝트가 시작된 25 GB 노트북에서 콜드 상태로 초당 0.05~0.1 토큰을 디코딩하며, 이는 대략 10~20초에 단어 하나입니다. 128 GB Ryzen AI Max+ 395에서는 1.83에 이릅니다. 쾌적하게 쓸 수 있는 것은 더 작은 MoE 모델입니다. Qwen3.6-35B-A3B는 CPU에서 초당 6.0 토큰, CUDA로 30.0 토큰입니다.

주의할 점: "콜드"는 아직 아무것도 캐시되지 않았다는 뜻이며, 큰 모델의 첫 실행은 고장 난 것처럼 느껴질 만큼 느립니다. 큰 모델은 수백 기가바이트 다운로드를 뜻하기도 합니다. Colibri는 매우 큰 모델 파일을 C로 파싱하며 8월에 보안 권고 8건을 발표했으므로, 모델 파일은 신뢰하는 출처에서만 받으십시오.

Strata: 한 모델 계열을 게이밍 PC에서 빠르게

Strata(4.0)는 정반대입니다. 모든 것을 느리게 돌리는 대신 Qwen3.8-Flash-Next와 DeepSeek V4.1-Flash를 빠르게 돌립니다. 가장 많이 쓰는 expert는 GPU에 고정하고, 나머지는 옮기지 않고 RAM에서 CPU로 계산하며, 큰 조회 테이블은 SSD에 두고, 작은 보조 모델이 단어 초안을 쓰고 주 모델이 검사하는 speculative decoding을 씁니다. 12 GB RTX 5070과 Ryzen 5 7600에서 프로젝트가 직접 측정한 결과, 4K 컨텍스트에서 Q2_0 팩은 초당 93 토큰, 더 높은 품질의 IQ3_S는 53 토큰이었으며, AMD 카드에 대한 커뮤니티 보고도 비슷한 범위입니다.

주의할 점: 이 팩들은 RAM과 VRAM을 합쳐 37.6~54.8 GB가 필요하므로, 현실적인 최소 사양은 RAM 64 GB입니다. 4K 컨텍스트 기준 속도는 긴 코딩 세션을 실제보다 좋아 보이게 합니다. 또한 프로젝트는 대부분 개발자 한 명의 작업이며 며칠마다 릴리스가 나옵니다.

AirLLM: GPU 메모리는 가장 적게, 인내심은 가장 많이

AirLLM은 GPU에 한 번에 모델의 레이어 하나만 두고, 필요할 때마다 디스크에서 불러옵니다. 그래서 README에 4 GB 카드로 70B 모델을, 8 GB로 Llama 3.1 405B를 돌린다고 적을 수 있으며, v3 계열은 Kimi K3를 위한 expert 단위 스트리밍을 추가했고 프로젝트에 따르면 VRAM 3.72 GB로 실행되었습니다. Python 라이브러리이므로 첫 실험은 AutoModel로 몇 줄이면 됩니다.

주의할 점: 대표 수치는 속도가 아니라 메모리 수치입니다. AirLLM은 먼저 체크포인트를 레이어별 파일로 나누는데, README는 이를 "very disk-consuming"이라고 부르며(Qwen3.8-Flash-Next의 경우 약 360 GB), 디스크 로딩을 주요 병목으로 꼽습니다. 초당 토큰 수치는 공개하지 않습니다. 선택 사항인 4비트 또는 8비트 압축을 쓰면 최대 세 배 빨라집니다.

FreeToken: 계속 다시 찾아오는 에이전트를 위해 설계

대학 연구팀이 만든 FreeToken(논문)은 모든 가중치를 RAM에 두고, 남는 GPU 메모리를 최근 사용한 expert의 공유 캐시 하나로 만듭니다. expert가 없으면, 측정한 대역폭을 바탕으로 PCIe로 복사하는 것과 CPU에서 계산하는 것 중 무엇이 빠른지 경우마다 판단합니다. 재시작 없이 GPU 메모리를 expert 캐시와 대화 메모리 사이에 나누는 비율을 바꿀 수도 있습니다.

눈에 띄는 기능은 코딩 에이전트를 위한 것입니다. 에이전트는 대화 도중 도구 인수를 수정하고 명령 출력을 끼워 넣는데, 보통은 이 때문에 엔진이 프롬프트 전체를 다시 계산해야 합니다. FreeToken은 논리적인 작업 경계에서 모델의 내부 상태를 저장하고 재사용하므로, 세션의 열 번째 턴이 첫 번째 턴만큼 비싸지 않아야 합니다. Better Stack의 안내서가 설정 방법과 Ollama 대비 속도를 다룹니다. Apache-2.0이며, Windows와 Linux에서 NVIDIA RTX 30, 40, 50 카드를 지원하고, OpenAI 및 Anthropic 호환 API를 통해 Claude Code, Codex, OpenCode와 함께 작동합니다.

주의할 점: 지금은 NVIDIA 전용이며, AMD 지원은 커뮤니티 포크에만 있습니다. 프로젝트 페이지에는 자체 벤치마크 수치가 없고, 열린 이슈가 281개로 빠르게 변하고 있습니다.

무엇부터 써 볼까

엔진보다 모델을 먼저 고르십시오. 빠른 런타임도 작업을 해내지 못하는 모델이나 쓸 수 없는 라이선스를 가진 모델을 구해 주지는 못합니다.

RAM 64 GB 게이밍 PC에서 빠르고 반응성 좋은 어시스턴트를 원한다면, 원하는 모델이 Qwen3.8-Flash-Next나 DeepSeek V4.1-Flash라는 전제에서 Strata가 가장 빠른 길입니다. NVIDIA 카드에서 긴 에이전트 세션을 돌린다면 FreeToken이 바로 그 작업에 맞춰 설계되었습니다. 답 하나가 아니라 작업 전체의 시간을 재십시오. 내 기기에는 너무 큰 모델을 시험해 보려면 Colibri가 느리게나마 실행해 주며, 얼마나 느린지 솔직하게 알려 줍니다. 작은 GPU에서 기다려도 괜찮은 Python 실험이라면 AirLLM이 스크립트로 쓰기에 가장 간단합니다.

어느 것도 마음에 들지 않는다면, 메모리에 들어가는 모델에는 llama.cpp와 Ollama가 여전히 믿을 만한 선택입니다.

결론: 알맞은 엔진은 도서관 왕복이 사용자의 인내심과 맞는 엔진입니다. "hello"에 대한 첫 답이 아니라 실제 세션의 두 번째와 열 번째 턴을 측정하십시오.