O que é AirLLM?
AirLLM, de Gavin Li, envolve o Hugging Face transformers para que só uma camada do modelo fique na GPU a cada momento. No primeiro carregamento, divide o checkpoint em arquivos por camada no disco; durante a geração, carrega cada camada, executa e descarta, então a memória necessária depende do tamanho de uma camada e não do modelo inteiro. Em modelos de mistura de especialistas, pode carregar só os especialistas para os quais cada token é roteado.
O README lista Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM e Kimi K3 entre as famílias suportadas, com compressão opcional por blocos de 4 e 8 bits, um caminho para CPU e outro para Apple silicon limitado a modelos do tipo Llama. A versão 4.0.0, lançada em setembro de 2026, adicionou fine-tuning LoRA com o mesmo carregamento por camadas. O código tem licença Apache-2.0.
AirLLM vale a pena?
O que o AirLLM promete sobre memória se sustenta; o preço é a velocidade, e o README nunca a informa. A chamada diz que modelos de 70B rodam em uma GPU de 4GB e que o Kimi K3, um modelo de 2.8T parâmetros, cabe em menos de 4GB. O único número de velocidade publicado pelos mantenedores vem da versão do Kimi K3: em uma RTX 6000 Ada, o pico de VRAM foi de 3.72 GB, a preparação levou 900 segundos e a geração rodou a 292 segundos por token, quatro tokens em 1.168 segundos. São quase cinco minutos por token, e as notas atribuem isso ao disco.
Relatos de usuários no rastreador de issues colocam modelos menores no mesmo patamar. Um mediu o Qwen2.5-32B a 13.3 segundos por token em uma NVIDIA GB10; outro registrou um modelo de 3B a 28.6 segundos por token em uma RTX 5060 Ti no Windows; um terceiro esperou cerca de 30 minutos por uma resposta de 120 tokens do gpt-oss-20b em uma RTX 3090. A causa é estrutural: cada novo token passa todas as camadas pela GPU de novo, então a vazão é ditada pelo disco e pela largura de banda PCIe, não pela placa. O README também promete que a compressão de 4 ou 8 bits acelera a inferência em até 3x. Uma issue aberta de agosto de 2026 mediu o contrário com o Qwen2.5-32B: 8-bit foi 3.8 vezes mais lento e 4-bit 8 vezes mais lento que sem compressão, porque cada camada é expandida de volta para 16-bit a cada passada.
O porém: além da velocidade, o AirLLM exige muito disco. Dividir um modelo grava uma segunda cópia, por isso o README manda liberar espaço ou ativar `delete_original`; o Qwen3.8-Flash-Next precisa de cerca de 360GB de disco para o checkpoint e de uma máquina com 64GB, e o Kimi K3 é um checkpoint de 1.56TB que exigiria 3.12TB numa divisão ingênua. A tabela de modelos do README dá ao Flash-Next cerca de 180B parâmetros, enquanto as notas de atualização dizem 125B. No macOS só rodam modelos do tipo Llama, e o README abre com links promocionais para apps de IA sem relação. A inferência é local; o único uso de rede descrito é baixar modelos, com um token do Hugging Face para os de acesso restrito.
Nossa opinião: o AirLLM serve para tarefas pontuais em que esperar não é problema, como ver como um modelo de 70B ou 671B responde a algumas perguntas de teste antes de alugar GPUs para ele, ou treinar um LoRA durante a noite em uma placa de jogos. Para qualquer uso interativo, um modelo quantizado que caiba na memória via llama.cpp ou Ollama vai atender você muito melhor.
Onde ele se destaca
Um doutorando com uma única RTX 3090
Comparar como um modelo de 70B e um de 671B respondem a 20 perguntas de avaliação antes de pedir tempo de cluster
Carregue cada um com `AutoModel.from_pretrained` e rode as perguntas como tarefa em lote durante a noite; o README coloca o DeepSeek-V3 em cerca de 12GB de VRAM. Reserve disco para a cópia dividida e conte com segundos a minutos por token.
Uma engenheira de ML em uma pequena start-up
Ajustar um adaptador LoRA em um modelo de 27B sem alugar GPU
A versão 4.0.0 lê os pesos congelados do disco e mantém só os adaptadores na GPU; as notas de versão colocam o Qwen3.8-27B em cerca de 2GB com comprimento de sequência de 512. Rode `train_qwen38_lora.py` com um arquivo JSONL e deixe trabalhando.
Um entusiasta com um Mac com Apple silicon
Testar um modelo da família Llama maior que a memória do Mac
Instale mlx e torch e use a mesma API; no macOS só rodam as arquiteturas `LlamaForCausalLM` e `MistralForCausalLM`. Um usuário mediu o TinyLlama-1.1B a cerca de 3 segundos por token em um M1 Pro, então mantenha os prompts curtos.
Antes de decidir
- Configuração
- `pip install airllm` e depois `AutoModel.from_pretrained(<Hugging Face ID>)`. A primeira execução baixa o checkpoint e o divide camada por camada, o que exige mais ou menos o mesmo espaço livre de novo. Alguns modelos pedem uma versão específica do transformers ou flash-attn.
- Integrações
- Hugging Face transformers e Hub; bitsandbytes para a compressão opcional; mlx no macOS. O README não descreve servidor nem endpoint compatível com OpenAI.
- Dados e privacidade
- Roda na sua própria máquina; o único uso de rede descrito é baixar modelos do Hugging Face, com um `hf_token` opcional para modelos de acesso restrito.
- Custo em escala
- Gratuito; os custos reais são disco (cerca de 360GB para o Qwen3.8-Flash-Next, um checkpoint de 1.56TB para o Kimi K3) e tempo, já que cada token passa o modelo inteiro pela GPU de novo.
- Limites
- A vazão depende do disco; o pull request do Kimi K3 diz que a memória com contexto longo não foi testada; o macOS só suporta modelos do tipo Llama; no teste de um usuário, a compressão deixou a geração mais lenta, não mais rápida.
O que é bom
- Roda modelos de 70B a 2.8T parâmetros com poucos gigabytes de VRAM, segundo o README e as notas de versão
- Uma única chamada a `AutoModel.from_pretrained` para a maioria dos modelos do Hugging Face
- Fine-tuning LoRA com streaming em GPUs pequenas desde a versão 4.0.0
- Apache-2.0 e totalmente local
O que não é
- O Kimi K3 gera a 292 segundos por token; usuários relatam 13.3 a 28.6 segundos por token em modelos de 3B a 32B
- A aceleração de 3x por compressão do README é contrariada pelo teste de um usuário que achou o 4-bit 8 vezes mais lento
- Precisa de disco para uma segunda cópia dividida de cada modelo
- No macOS, limitado a modelos do tipo Llama
Ideal para
Pesquisadores e entusiastas que precisam rodar ou ajustar um modelo muito maior que a GPU para algumas perguntas e podem esperar minutos por resposta.
Alternativas ao AirLLM
AirLLM: perguntas frequentes
- AirLLM vale a pena?
- O AirLLM realmente coloca modelos gigantes em poucos gigabytes de memória de GPU, mas, a segundos ou minutos por token, serve para rodar um modelo uma vez, não para conversar com ele. Damos nota 3.3 de 5.
- Quanto custa AirLLM?
- Gratuito e de código aberto sob Apache-2.0; sem plano pago.
- Quais são as desvantagens de AirLLM?
- O Kimi K3 gera a 292 segundos por token; usuários relatam 13.3 a 28.6 segundos por token em modelos de 3B a 32B; a aceleração de 3x por compressão do README é contrariada pelo teste de um usuário que achou o 4-bit 8 vezes mais lento; precisa de disco para uma segunda cópia dividida de cada modelo; no macOS, limitado a modelos do tipo Llama.
- Para quem AirLLM é indicado?
- Pesquisadores e entusiastas que precisam rodar ou ajustar um modelo muito maior que a GPU para algumas perguntas e podem esperar minutos por resposta.
- Quanto custa AirLLM para uma equipe ou em produção?
- Gratuito; os custos reais são disco (cerca de 360GB para o Qwen3.8-Flash-Next, um checkpoint de 1.56TB para o Kimi K3) e tempo, já que cada token passa o modelo inteiro pela GPU de novo.
- AirLLM é seguro para dados da empresa?
- Roda na sua própria máquina; o único uso de rede descrito é baixar modelos do Hugging Face, com um `hf_token` opcional para modelos de acesso restrito.
- Quais são as melhores alternativas ao AirLLM?
- As alternativas mais próximas que analisamos são llama.cpp, Ollama e Unsloth.
Respostas verificadas em 18 de nov. de 2026.