본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AirLLM

디스크에서 한 번에 한 층씩 불러와 아주 큰 오픈 모델을 작은 GPU에서 돌리는 Python 라이브러리로, 속도는 토큰당 몇 초에서 몇 분입니다.

리뷰어: ReviewRamble editors · 업데이트

GitHub에서 보기 오픈 소스

이 페이지 공유:XLinkedInFacebookRedditWhatsApp이메일

평점

3.3/5

AirLLM은 거대한 모델을 정말로 몇 기가바이트의 GPU 메모리에 넣지만, 토큰당 몇 초에서 몇 분이 걸려 모델을 한 번 돌려 보는 용도이지 대화용은 아닙니다.

AirLLM의 개요

AirLLM은 Gavin Li가 만든 라이브러리로, Hugging Face transformers를 감싸 GPU에 늘 모델의 한 층만 올라가게 합니다. 처음 불러올 때 체크포인트를 층별 파일로 나눠 디스크에 저장하고, 생성 중에는 각 층을 불러와 실행한 뒤 버리므로 필요한 메모리는 모델 전체가 아니라 한 층의 크기로 정해집니다. mixture-of-experts 모델에서는 각 토큰이 배정된 전문가만 불러올 수 있습니다.

README는 지원 계열로 Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM, Kimi K3를 들고, 선택형 4비트·8비트 블록 단위 압축, CPU 경로, Llama 계열 모델로 제한된 Apple silicon 경로를 제공합니다. 2026년 9월에 나온 버전 4.0.0은 같은 층별 로딩을 쓰는 LoRA 파인튜닝을 추가했습니다. 코드는 Apache-2.0입니다.

AirLLM, 쓸 만한 가치가 있습니까?

AirLLM의 메모리 주장은 맞습니다. 대가는 속도이고, README는 이를 한 번도 밝히지 않습니다. 헤드라인은 70B 모델이 4GB GPU에서, 2.8T 매개변수의 Kimi K3가 4GB 미만에서 돈다고 말합니다. 관리자들이 공개한 유일한 속도 수치는 Kimi K3 릴리스에 있습니다. RTX 6000 Ada에서 VRAM 최고치는 3.72 GB, 준비에 900초가 걸렸고, 생성은 토큰당 292초로 4토큰에 1,168초였습니다. 토큰 하나에 거의 5분이며, 노트는 디스크가 병목이라고 설명합니다.

이슈 트래커에 올라온 사용자 보고를 보면 더 작은 모델도 비슷한 수준입니다. 한 사용자는 NVIDIA GB10에서 Qwen2.5-32B를 토큰당 13.3초로 측정했고, 다른 사용자는 Windows의 RTX 5060 Ti에서 3B 모델이 토큰당 28.6초였다고 보고했으며, 또 다른 사용자는 RTX 3090에서 gpt-oss-20b의 120토큰 답변을 약 30분 기다렸습니다. 원인은 구조적입니다. 새 토큰마다 모든 층이 다시 GPU를 거치므로 처리량은 그래픽카드가 아니라 디스크와 PCIe 대역폭이 정합니다. README는 4비트나 8비트 압축으로 추론이 최대 3x 빨라진다고도 약속합니다. 2026년 8월의 열린 이슈는 Qwen2.5-32B에서 정반대를 측정했습니다. 8-bit는 압축하지 않았을 때보다 3.8배, 4-bit는 8배 느렸는데, 각 층을 매번 16-bit로 다시 풀기 때문입니다.

주의할 점: 속도 말고도 AirLLM은 디스크를 많이 씁니다. 모델을 나누면 두 번째 사본이 기록되므로 README는 공간을 비우거나 `delete_original`을 설정하라고 안내합니다. Qwen3.8-Flash-Next에는 체크포인트용 디스크 약 360GB와 64GB 메모리의 컴퓨터가 필요하고, Kimi K3는 1.56TB 체크포인트로 단순하게 나누면 3.12TB가 필요합니다. README의 모델 표는 Flash-Next를 약 180B 매개변수로 적었지만 업데이트 노트는 125B라고 합니다. macOS에서는 Llama 계열 모델만 돌아가며, README 첫머리에는 관련 없는 AI 앱의 홍보 링크가 있습니다. 추론 자체는 로컬에서 하며, 설명된 네트워크 사용은 모델 다운로드뿐이고 접근이 제한된 모델에는 Hugging Face 토큰을 씁니다.

결론: AirLLM은 기다려도 괜찮은 일회성 작업에 맞습니다. 70B나 671B 모델이 몇 가지 테스트 질문에 어떻게 답하는지 GPU를 빌리기 전에 확인하거나, 게임용 그래픽카드로 밤새 LoRA를 학습하는 경우입니다. 대화형 용도라면 llama.cpp나 Ollama로 메모리에 들어가는 양자화 모델이 훨씬 낫습니다.

제 역할을 하는 곳

  • RTX 3090 한 장을 가진 박사과정생

    클러스터 사용 시간을 신청하기 전에 70B 모델과 671B 모델이 평가 질문 20개에 어떻게 답하는지 비교하기

    각 모델을 `AutoModel.from_pretrained`로 불러와 질문을 야간 배치 작업으로 돌립니다. README는 DeepSeek-V3에 약 12GB VRAM이 든다고 합니다. 나눈 사본을 위한 디스크를 남겨 두고 토큰당 몇 초에서 몇 분을 예상하십시오.

  • 작은 스타트업의 ML 엔지니어

    GPU를 빌리지 않고 27B 모델에 LoRA 어댑터를 파인튜닝하기

    버전 4.0.0은 고정된 가중치를 디스크에서 스트리밍하고 어댑터만 GPU에 둡니다. 릴리스 노트에 따르면 Qwen3.8-27B는 시퀀스 길이 512에서 약 2GB입니다. JSONL 파일로 `train_qwen38_lora.py`를 실행해 두면 됩니다.

  • Apple silicon Mac을 가진 애호가

    Mac 메모리보다 큰 Llama 계열 모델을 시험해 보기

    mlx와 torch를 설치하고 같은 API를 씁니다. macOS에서는 `LlamaForCausalLM`과 `MistralForCausalLM` 구조만 돌아갑니다. 한 사용자는 M1 Pro에서 TinyLlama-1.1B를 토큰당 약 3초로 측정했으니 프롬프트를 짧게 유지하십시오.

도입 전 확인할 점

설정
`pip install airllm` 후 `AutoModel.from_pretrained(<Hugging Face ID>)`를 호출합니다. 첫 실행 때 체크포인트를 내려받아 층별로 나누므로 그만큼의 여유 공간이 한 번 더 필요합니다. 일부 모델은 특정 transformers 버전이나 flash-attn이 필요합니다.
연동
Hugging Face transformers와 Hub, 선택형 압축용 bitsandbytes, macOS의 mlx. README에는 서버나 OpenAI 호환 엔드포인트에 대한 설명이 없습니다.
데이터와 개인정보
자신의 컴퓨터에서 실행됩니다. 설명된 네트워크 사용은 Hugging Face에서 모델을 내려받는 것뿐이며, 접근이 제한된 모델에는 선택적으로 `hf_token`을 씁니다.
대규모 사용 시 비용
무료입니다. 실제 비용은 디스크(Qwen3.8-Flash-Next는 약 360GB, Kimi K3는 1.56TB 체크포인트)와 시간이며, 토큰마다 모델 전체가 다시 GPU를 거칩니다.
제한
처리량은 디스크에 좌우됩니다. Kimi K3 풀 리퀘스트에 따르면 긴 컨텍스트에서의 메모리는 테스트하지 않았습니다. macOS는 Llama 계열 모델만 지원합니다. 한 사용자 벤치마크에서는 압축이 생성을 빠르게 하기는커녕 느리게 했습니다.

좋은 점

  • README와 릴리스 노트에 따르면 70B~2.8T 매개변수 모델을 한 자릿수 기가바이트 VRAM으로 실행
  • 대부분의 Hugging Face 모델을 `AutoModel.from_pretrained` 호출 한 번으로 사용
  • 버전 4.0.0부터 작은 GPU에서 스트리밍 방식 LoRA 파인튜닝
  • Apache-2.0이며 완전히 로컬

아쉬운 점

  • Kimi K3 생성 속도는 토큰당 292초, 사용자들은 3B~32B 모델에서 토큰당 13.3~28.6초를 보고
  • README의 압축 3x 가속 주장은 4-bit가 8배 느렸다는 사용자 벤치마크와 어긋남
  • 모델마다 나눈 두 번째 사본을 위한 디스크가 필요
  • macOS에서는 Llama 계열 모델로 제한

추천 대상

GPU보다 훨씬 큰 모델을 몇 개의 프롬프트를 위해 실행하거나 파인튜닝해야 하고, 답 하나에 몇 분을 기다릴 수 있는 연구자와 애호가.

AirLLM 대안

AirLLM: 자주 묻는 질문

AirLLM, 쓸 만한 가치가 있습니까?
AirLLM은 거대한 모델을 정말로 몇 기가바이트의 GPU 메모리에 넣지만, 토큰당 몇 초에서 몇 분이 걸려 모델을 한 번 돌려 보는 용도이지 대화용은 아닙니다. 평점은 5점 만점에 3.3점입니다.
AirLLM의 가격은 얼마입니까?
Apache-2.0의 무료 오픈소스이며 유료 요금제가 없습니다.
AirLLM의 단점은 무엇입니까?
Kimi K3 생성 속도는 토큰당 292초, 사용자들은 3B~32B 모델에서 토큰당 13.3~28.6초를 보고; README의 압축 3x 가속 주장은 4-bit가 8배 느렸다는 사용자 벤치마크와 어긋남; 모델마다 나눈 두 번째 사본을 위한 디스크가 필요; macOS에서는 Llama 계열 모델로 제한.
AirLLM에 적합한 사람은 누구입니까?
GPU보다 훨씬 큰 모델을 몇 개의 프롬프트를 위해 실행하거나 파인튜닝해야 하고, 답 하나에 몇 분을 기다릴 수 있는 연구자와 애호가.
팀이나 프로덕션 환경에서 AirLLM의 비용은 얼마입니까?
무료입니다. 실제 비용은 디스크(Qwen3.8-Flash-Next는 약 360GB, Kimi K3는 1.56TB 체크포인트)와 시간이며, 토큰마다 모델 전체가 다시 GPU를 거칩니다.
AirLLM에 회사 데이터를 맡겨도 안전합니까?
자신의 컴퓨터에서 실행됩니다. 설명된 네트워크 사용은 Hugging Face에서 모델을 내려받는 것뿐이며, 접근이 제한된 모델에는 선택적으로 `hf_token`을 씁니다.
AirLLM의 가장 좋은 대안은 무엇입니까?
저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp, Ollama 및 Unsloth입니다.

답변 확인일: 2026년 11월 18일.