AirLLMとは?
AirLLMはGavin Liが作ったライブラリで、Hugging Face transformersを包み、GPU上には常にモデルの1層だけが載るようにします。最初の読み込み時にチェックポイントを層ごとのファイルに分けてディスクに保存し、生成時には各層を読み込んで実行し、すぐに破棄します。そのため必要なメモリはモデル全体ではなく1層の大きさで決まります。mixture-of-expertsモデルでは、各トークンが振り分けられたエキスパートだけを読み込めます。
READMEは対応ファミリーとしてLlama、Qwen、DeepSeek、Mistral、Phi、Gemma、ChatGLM、Kimi K3を挙げ、任意の4ビットと8ビットのブロック単位圧縮、CPU向けの経路、Llama系モデルに限ったApple silicon向けの経路を備えます。2026年9月公開のバージョン4.0.0では、同じ層ごとの読み込みを使ったLoRAファインチューニングが加わりました。コードのライセンスはApache-2.0です。
AirLLMは使う価値があるか?
AirLLMのメモリに関する主張は成り立っています。代わりに払うのは速度で、READMEはそれを一度も書いていません。見出しでは、70Bモデルが4GBのGPUで、2.8TパラメータのKimi K3が4GB未満で動くとうたっています。保守者が公表した唯一の速度はKimi K3のリリースにあります。RTX 6000 AdaでVRAMのピークは3.72 GB、準備に900秒かかり、生成は1トークン292秒、4トークンで1,168秒でした。1トークンほぼ5分で、ノートはディスクが律速だとしています。
イシュートラッカーに寄せられたユーザーの報告でも、小さいモデルが同じ水準です。あるユーザーはNVIDIA GB10でQwen2.5-32Bを1トークン13.3秒と測り、別のユーザーはWindows上のRTX 5060 Tiで3Bモデルが1トークン28.6秒だったと報告し、さらに別のユーザーはRTX 3090でgpt-oss-20bの120トークンの回答に約30分待ちました。原因は構造的です。新しいトークンごとに全層がもう一度GPUを通るため、処理速度を決めるのはカードではなくディスクとPCIeの帯域です。READMEはまた、4ビットか8ビットの圧縮で推論が最大3x速くなるとしています。2026年8月の未解決イシューはQwen2.5-32Bで逆の結果を測りました。8-bitは圧縮なしより3.8倍、4-bitは8倍遅く、理由は各層が毎回16-bitに展開し直されるためです。
注意点:速度のほかに、AirLLMは大量のディスクを使います。モデルを分割すると2つ目のコピーが書かれるため、READMEは空き容量の確保か`delete_original`の指定を勧めています。Qwen3.8-Flash-Nextにはチェックポイント用に約360GBのディスクと64GBのマシンが必要で、Kimi K3は1.56TBのチェックポイントで、単純に分割すると3.12TBが必要になります。READMEのモデル表はFlash-Nextを約180Bパラメータとしていますが、更新履歴では125Bです。macOSではLlama系モデルしか動かず、READMEの冒頭には無関係なAIアプリの宣伝リンクがあります。推論はローカルで行われ、説明されているネットワーク利用はモデルのダウンロードだけで、アクセス制限付きモデルにはHugging Faceのトークンを使います。
結論:AirLLMは待つことが問題にならない単発の作業に向いています。たとえば70Bや671Bのモデル が数個のテスト質問にどう答えるかを、GPUを借りる前に確かめる場合や、ゲーム用のカードで一晩かけてLoRAを学習する場合です。対話的な用途なら、llama.cppやOllamaでメモリに収まる量子化モデルのほうがはるかに役立ちます。
真価を発揮する場面
RTX 3090を1枚だけ持つ博士課程の学生
クラスタの計算時間を申請する前に、70Bと671Bのモデルが20個の評価用質問にどう答えるかを比べたい
それぞれを`AutoModel.from_pretrained`で読み込み、質問を夜間のバッチ処理として流します。READMEではDeepSeek-V3は約12GBのVRAMです。分割コピー用のディスクを空けておき、1トークン数秒から数分かかると見込んでください。
小さなスタートアップのMLエンジニア
GPUを借りずに27BモデルでLoRAアダプターをファインチューニングしたい
バージョン4.0.0は凍結した重みをディスクからストリーミングし、GPU上にはアダプターだけを残します。リリースノートによれば、Qwen3.8-27Bはシーケンス長512で約2GBです。JSONLファイルを指定して`train_qwen38_lora.py`を実行し、そのまま回しておきます。
Apple silicon搭載のMacを持つ愛好家
Macのメモリより大きなLlama系モデルを試したい
mlxとtorchを入れて同じAPIを使います。macOSで動くのは`LlamaForCausalLM`と`MistralForCausalLM`のアーキテクチャだけです。あるユーザーはM1 ProでTinyLlama-1.1Bを1トークン約3秒と測ったので、プロンプトは短くしてください。
導入前に確認すること
- 導入
- `pip install airllm`を実行し、`AutoModel.from_pretrained(<Hugging Face ID>)`を呼びます。初回はチェックポイントをダウンロードして層ごとに分割するため、ほぼ同じだけの空き容量がさらに必要です。モデルによっては特定のtransformersのバージョンやflash-attnが必要です。
- 連携
- Hugging Face transformersとHub、任意の圧縮用にbitsandbytes、macOSではmlx。READMEにはサーバーやOpenAI互換のエンドポイントの記載はありません。
- データとプライバシー
- 自分のマシンで動きます。説明されているネットワーク利用はHugging Faceからのモデルのダウンロードだけで、アクセス制限付きモデルには任意で`hf_token`を指定します。
- 大規模利用時のコスト
- 無料です。実際のコストはディスク(Qwen3.8-Flash-Nextで約360GB、Kimi K3は1.56TBのチェックポイント)と時間で、トークンごとにモデル全体がGPUを通り直します。
- 制限
- 処理速度はディスク次第です。Kimi K3のプルリクエストによれば長いコンテキストでのメモリは未検証です。macOSはLlama系モデルのみ対応です。あるユーザーのベンチマークでは、圧縮で生成が速くなるどころか遅くなりました。
良い点
- READMEとリリースノートによれば、70Bから2.8Tパラメータのモデルを1桁ギガバイトのVRAMで動かせる
- ほとんどのHugging Faceモデルに`AutoModel.from_pretrained`の1回の呼び出しで対応
- バージョン4.0.0から小さなGPUでストリーミング方式のLoRAファインチューニング
- Apache-2.0で完全にローカル
気になる点
- Kimi K3の生成は1トークン292秒。3Bから32Bのモデルでユーザーは1トークン13.3から28.6秒と報告
- READMEの圧縮による3xの高速化は、4-bitが8倍遅かったというユーザーのベンチマークと食い違う
- モデルごとに分割した2つ目のコピー用のディスクが必要
- macOSではLlama系モデルに限られる
おすすめの人
GPUよりはるかに大きなモデルを、いくつかのプロンプトのために動かしたりファインチューニングしたりする必要があり、1回の回答に数分待 てる研究者や愛好家。
AirLLMの代替
AirLLM:よくある質問
- AirLLMは使う価値があるか?
- AirLLMは巨大なモデルを本当に数ギガバイトのGPUメモリに収めますが、1トークン数秒から数分では、モデルを一度動かすための道具であって、対話には向きません。 評価は5点満点中3.3点です。
- AirLLMの料金は?
- Apache-2.0の無料オープンソースです。有料プランはありません。
- AirLLMの欠点は?
- Kimi K3の生成は1トークン292秒。3Bから32Bのモデルでユーザーは1トークン13.3から28.6秒と報告; READMEの圧縮による3xの高速化は、4-bitが8倍遅かったというユーザーのベンチマークと食い違う; モデルごとに分割した2つ目のコピー用のディスクが必要; macOSではLlama系モデルに限られる.
- AirLLMは誰に向いているか?
- GPUよりはるかに大きなモデルを、いくつかのプロンプトのために動かしたりファインチューニングしたりする必要があり、1回の回答に数分待てる研究者や愛好家。
- チームや本番環境でAirLLMを使うと費用はいくらか?
- 無料です。実際のコストはディスク(Qwen3.8-Flash-Nextで約360GB、Kimi K3は1.56TBのチェックポイント)と時間で、トークンごとにモデル全体がGPUを通り直します。
- AirLLMは企業データを扱っても安全か?
- 自分のマシンで動きます。説明されているネットワーク利用はHugging Faceからのモデルのダウンロードだけで、アクセス制限付きモデルには任意で`hf_token`を指定します。
- AirLLMの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はllama.cpp, Ollama 、 Unslothです。
回答確認日:2026年11月18日