Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

AirLLM

Biblioteca Python que roda modelos abertos muito grandes em uma GPU pequena carregando uma camada por vez do disco, a segundos ou minutos por token.

Análise de ReviewRamble editors · Atualizado

Ver no GitHub Código aberto

Compartilhe esta página:XLinkedInFacebookRedditWhatsAppE-mail

Nossa nota

3.3/5

O AirLLM realmente coloca modelos gigantes em poucos gigabytes de memória de GPU, mas, a segundos ou minutos por token, serve para rodar um modelo uma vez, não para conversar com ele.

O que é AirLLM?

AirLLM, de Gavin Li, envolve o Hugging Face transformers para que só uma camada do modelo fique na GPU a cada momento. No primeiro carregamento, divide o checkpoint em arquivos por camada no disco; durante a geração, carrega cada camada, executa e descarta, então a memória necessária depende do tamanho de uma camada e não do modelo inteiro. Em modelos de mistura de especialistas, pode carregar só os especialistas para os quais cada token é roteado.

O README lista Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM e Kimi K3 entre as famílias suportadas, com compressão opcional por blocos de 4 e 8 bits, um caminho para CPU e outro para Apple silicon limitado a modelos do tipo Llama. A versão 4.0.0, lançada em setembro de 2026, adicionou fine-tuning LoRA com o mesmo carregamento por camadas. O código tem licença Apache-2.0.

AirLLM vale a pena?

O que o AirLLM promete sobre memória se sustenta; o preço é a velocidade, e o README nunca a informa. A chamada diz que modelos de 70B rodam em uma GPU de 4GB e que o Kimi K3, um modelo de 2.8T parâmetros, cabe em menos de 4GB. O único número de velocidade publicado pelos mantenedores vem da versão do Kimi K3: em uma RTX 6000 Ada, o pico de VRAM foi de 3.72 GB, a preparação levou 900 segundos e a geração rodou a 292 segundos por token, quatro tokens em 1.168 segundos. São quase cinco minutos por token, e as notas atribuem isso ao disco.

Relatos de usuários no rastreador de issues colocam modelos menores no mesmo patamar. Um mediu o Qwen2.5-32B a 13.3 segundos por token em uma NVIDIA GB10; outro registrou um modelo de 3B a 28.6 segundos por token em uma RTX 5060 Ti no Windows; um terceiro esperou cerca de 30 minutos por uma resposta de 120 tokens do gpt-oss-20b em uma RTX 3090. A causa é estrutural: cada novo token passa todas as camadas pela GPU de novo, então a vazão é ditada pelo disco e pela largura de banda PCIe, não pela placa. O README também promete que a compressão de 4 ou 8 bits acelera a inferência em até 3x. Uma issue aberta de agosto de 2026 mediu o contrário com o Qwen2.5-32B: 8-bit foi 3.8 vezes mais lento e 4-bit 8 vezes mais lento que sem compressão, porque cada camada é expandida de volta para 16-bit a cada passada.

O porém: além da velocidade, o AirLLM exige muito disco. Dividir um modelo grava uma segunda cópia, por isso o README manda liberar espaço ou ativar `delete_original`; o Qwen3.8-Flash-Next precisa de cerca de 360GB de disco para o checkpoint e de uma máquina com 64GB, e o Kimi K3 é um checkpoint de 1.56TB que exigiria 3.12TB numa divisão ingênua. A tabela de modelos do README dá ao Flash-Next cerca de 180B parâmetros, enquanto as notas de atualização dizem 125B. No macOS só rodam modelos do tipo Llama, e o README abre com links promocionais para apps de IA sem relação. A inferência é local; o único uso de rede descrito é baixar modelos, com um token do Hugging Face para os de acesso restrito.

Nossa opinião: o AirLLM serve para tarefas pontuais em que esperar não é problema, como ver como um modelo de 70B ou 671B responde a algumas perguntas de teste antes de alugar GPUs para ele, ou treinar um LoRA durante a noite em uma placa de jogos. Para qualquer uso interativo, um modelo quantizado que caiba na memória via llama.cpp ou Ollama vai atender você muito melhor.

Onde ele se destaca

  • Um doutorando com uma única RTX 3090

    Comparar como um modelo de 70B e um de 671B respondem a 20 perguntas de avaliação antes de pedir tempo de cluster

    Carregue cada um com `AutoModel.from_pretrained` e rode as perguntas como tarefa em lote durante a noite; o README coloca o DeepSeek-V3 em cerca de 12GB de VRAM. Reserve disco para a cópia dividida e conte com segundos a minutos por token.

  • Uma engenheira de ML em uma pequena start-up

    Ajustar um adaptador LoRA em um modelo de 27B sem alugar GPU

    A versão 4.0.0 lê os pesos congelados do disco e mantém só os adaptadores na GPU; as notas de versão colocam o Qwen3.8-27B em cerca de 2GB com comprimento de sequência de 512. Rode `train_qwen38_lora.py` com um arquivo JSONL e deixe trabalhando.

  • Um entusiasta com um Mac com Apple silicon

    Testar um modelo da família Llama maior que a memória do Mac

    Instale mlx e torch e use a mesma API; no macOS só rodam as arquiteturas `LlamaForCausalLM` e `MistralForCausalLM`. Um usuário mediu o TinyLlama-1.1B a cerca de 3 segundos por token em um M1 Pro, então mantenha os prompts curtos.

Antes de decidir

Configuração
`pip install airllm` e depois `AutoModel.from_pretrained(<Hugging Face ID>)`. A primeira execução baixa o checkpoint e o divide camada por camada, o que exige mais ou menos o mesmo espaço livre de novo. Alguns modelos pedem uma versão específica do transformers ou flash-attn.
Integrações
Hugging Face transformers e Hub; bitsandbytes para a compressão opcional; mlx no macOS. O README não descreve servidor nem endpoint compatível com OpenAI.
Dados e privacidade
Roda na sua própria máquina; o único uso de rede descrito é baixar modelos do Hugging Face, com um `hf_token` opcional para modelos de acesso restrito.
Custo em escala
Gratuito; os custos reais são disco (cerca de 360GB para o Qwen3.8-Flash-Next, um checkpoint de 1.56TB para o Kimi K3) e tempo, já que cada token passa o modelo inteiro pela GPU de novo.
Limites
A vazão depende do disco; o pull request do Kimi K3 diz que a memória com contexto longo não foi testada; o macOS só suporta modelos do tipo Llama; no teste de um usuário, a compressão deixou a geração mais lenta, não mais rápida.

O que é bom

  • Roda modelos de 70B a 2.8T parâmetros com poucos gigabytes de VRAM, segundo o README e as notas de versão
  • Uma única chamada a `AutoModel.from_pretrained` para a maioria dos modelos do Hugging Face
  • Fine-tuning LoRA com streaming em GPUs pequenas desde a versão 4.0.0
  • Apache-2.0 e totalmente local

O que não é

  • O Kimi K3 gera a 292 segundos por token; usuários relatam 13.3 a 28.6 segundos por token em modelos de 3B a 32B
  • A aceleração de 3x por compressão do README é contrariada pelo teste de um usuário que achou o 4-bit 8 vezes mais lento
  • Precisa de disco para uma segunda cópia dividida de cada modelo
  • No macOS, limitado a modelos do tipo Llama

Ideal para

Pesquisadores e entusiastas que precisam rodar ou ajustar um modelo muito maior que a GPU para algumas perguntas e podem esperar minutos por resposta.

Alternativas ao AirLLM

AirLLM: perguntas frequentes

AirLLM vale a pena?
O AirLLM realmente coloca modelos gigantes em poucos gigabytes de memória de GPU, mas, a segundos ou minutos por token, serve para rodar um modelo uma vez, não para conversar com ele. Damos nota 3.3 de 5.
Quanto custa AirLLM?
Gratuito e de código aberto sob Apache-2.0; sem plano pago.
Quais são as desvantagens de AirLLM?
O Kimi K3 gera a 292 segundos por token; usuários relatam 13.3 a 28.6 segundos por token em modelos de 3B a 32B; a aceleração de 3x por compressão do README é contrariada pelo teste de um usuário que achou o 4-bit 8 vezes mais lento; precisa de disco para uma segunda cópia dividida de cada modelo; no macOS, limitado a modelos do tipo Llama.
Para quem AirLLM é indicado?
Pesquisadores e entusiastas que precisam rodar ou ajustar um modelo muito maior que a GPU para algumas perguntas e podem esperar minutos por resposta.
Quanto custa AirLLM para uma equipe ou em produção?
Gratuito; os custos reais são disco (cerca de 360GB para o Qwen3.8-Flash-Next, um checkpoint de 1.56TB para o Kimi K3) e tempo, já que cada token passa o modelo inteiro pela GPU de novo.
AirLLM é seguro para dados da empresa?
Roda na sua própria máquina; o único uso de rede descrito é baixar modelos do Hugging Face, com um `hf_token` opcional para modelos de acesso restrito.
Quais são as melhores alternativas ao AirLLM?
As alternativas mais próximas que analisamos são llama.cpp, Ollama e Unsloth.

Respostas verificadas em 18 de nov. de 2026.