Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

AirLLM

Bibliothèque Python qui fait tourner de très grands modèles ouverts sur un petit GPU en chargeant une couche à la fois depuis le disque, à raison de secondes ou de minutes par token.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

3.3/5

AirLLM fait vraiment tenir des modèles géants dans quelques gigaoctets de mémoire GPU, mais à des secondes ou des minutes par token, il sert à exécuter un modèle une fois, pas à discuter avec lui.

Qu’est-ce que AirLLM ?

AirLLM, de Gavin Li, enveloppe Hugging Face transformers pour qu'une seule couche du modèle se trouve sur le GPU à un instant donné. Au premier chargement, il découpe le checkpoint en fichiers par couche sur le disque ; pendant la génération, il charge chaque couche, l'exécute et la libère, si bien que la mémoire nécessaire dépend de la taille d'une couche et non du modèle entier. Pour les modèles à mélange d'experts, il peut ne charger que les experts vers lesquels chaque token est routé.

Le README cite Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM et Kimi K3 parmi les familles prises en charge, avec une compression optionnelle par blocs en 4 et 8 bits, un mode CPU et un mode Apple silicon limité aux modèles de type Llama. La version 4.0.0, publiée en septembre 2026, a ajouté le fine-tuning LoRA avec le même chargement couche par couche. Le code est sous licence Apache-2.0.

AirLLM vaut-il le coup ?

Les promesses d'AirLLM sur la mémoire tiennent ; la vitesse en est le prix, et le README ne la donne jamais. Le titre affirme que les modèles de 70B tournent sur un GPU de 4GB et que Kimi K3, un modèle de 2.8T paramètres, tient en moins de 4GB. Le seul chiffre de vitesse publié par les mainteneurs vient de la version Kimi K3 : sur une RTX 6000 Ada, la VRAM maximale était de 3.72 GB, la préparation a pris 900 secondes et la génération a tourné à 292 secondes par token, quatre tokens en 1 168 secondes. Cela fait près de cinq minutes par token, et les notes l'attribuent au disque.

Les retours d'utilisateurs sur le gestionnaire de tickets placent des modèles plus petits dans la même zone. L'un a mesuré Qwen2.5-32B à 13.3 secondes par token sur une NVIDIA GB10 ; un autre a relevé un modèle de 3B à 28.6 secondes par token sur une RTX 5060 Ti sous Windows ; un troisième a attendu environ 30 minutes une réponse de 120 tokens de gpt-oss-20b sur une RTX 3090. La cause est structurelle : chaque nouveau token refait passer toutes les couches par le GPU, donc le débit dépend du disque et de la bande passante PCIe, pas de la carte. Le README promet aussi que la compression en 4 ou 8 bits accélère l'inférence jusqu'à 3x. Un ticket ouvert d'août 2026 a mesuré l'inverse sur Qwen2.5-32B : 8-bit était 3.8 fois plus lent et 4-bit 8 fois plus lent que sans compression, car chaque couche est redécompressée en 16-bit à chaque passage.

Le hic : au-delà de la vitesse, AirLLM consomme beaucoup de disque. Découper un modèle écrit une seconde copie, d'où le conseil du README de libérer de la place ou d'activer `delete_original` ; Qwen3.8-Flash-Next demande environ 360GB de disque pour le checkpoint et une machine de 64GB, et Kimi K3 est un checkpoint de 1.56TB qui exigerait 3.12TB avec un découpage naïf. Le tableau des modèles du README donne environ 180B paramètres à Flash-Next, alors que ses notes de mise à jour indiquent 125B. Sous macOS, seuls les modèles de type Llama fonctionnent, et le README s'ouvre sur des liens promotionnels vers des applications d'IA sans rapport. L'inférence est locale ; le seul usage réseau décrit est le téléchargement des modèles, avec un token Hugging Face pour les modèles à accès restreint.

Notre avis : AirLLM convient aux travaux ponctuels où l'attente ne gêne pas, comme vérifier comment un modèle de 70B ou de 671B répond à quelques questions de test avant de louer des GPU pour lui, ou entraîner un LoRA pendant la nuit sur une carte de jeu. Pour tout usage interactif, un modèle quantifié qui tient en mémoire via llama.cpp ou Ollama vous servira bien mieux.

Là où il fait la différence

  • Un doctorant équipé d'une seule RTX 3090

    Comparer les réponses d'un modèle de 70B et d'un modèle de 671B à 20 questions d'évaluation avant de demander du temps de calcul sur un cluster

    Chargez chacun avec `AutoModel.from_pretrained` et lancez les questions en traitement par lots pendant la nuit ; le README situe DeepSeek-V3 à environ 12GB de VRAM. Prévoyez du disque pour la copie découpée et comptez des secondes ou des minutes par token.

  • Une ingénieure ML dans une petite start-up

    Affiner un adaptateur LoRA sur un modèle de 27B sans louer de GPU

    La version 4.0.0 lit les poids figés depuis le disque et ne garde que les adaptateurs sur le GPU ; les notes de version situent Qwen3.8-27B à environ 2GB pour une longueur de séquence de 512. Lancez `train_qwen38_lora.py` sur un fichier JSONL et laissez tourner.

  • Un amateur avec un Mac Apple silicon

    Essayer un modèle de la famille Llama plus grand que la mémoire du Mac

    Installez mlx et torch, puis utilisez la même API ; seules les architectures `LlamaForCausalLM` et `MistralForCausalLM` fonctionnent sous macOS. Un utilisateur a mesuré TinyLlama-1.1B à environ 3 secondes par token sur un M1 Pro, gardez donc des requêtes courtes.

Avant de vous engager

Mise en route
`pip install airllm`, puis `AutoModel.from_pretrained(<Hugging Face ID>)`. Le premier lancement télécharge le checkpoint et le découpe couche par couche, ce qui demande à peu près autant d'espace libre en plus. Certains modèles exigent une version précise de transformers ou flash-attn.
Intégrations
Hugging Face transformers et Hub ; bitsandbytes pour la compression optionnelle ; mlx sous macOS. Le README ne décrit ni serveur ni point d'accès compatible OpenAI.
Données et confidentialité
Tourne sur votre propre machine ; le seul usage réseau décrit est le téléchargement de modèles depuis Hugging Face, avec un `hf_token` optionnel pour les modèles à accès restreint.
Coût à grande échelle
Gratuit ; les vrais coûts sont le disque (environ 360GB pour Qwen3.8-Flash-Next, un checkpoint de 1.56TB pour Kimi K3) et le temps, puisque chaque token refait passer tout le modèle par le GPU.
Limites
Le débit dépend du disque ; la pull request de Kimi K3 indique que la mémoire en contexte long n'a pas été testée ; macOS ne prend en charge que les modèles de type Llama ; dans le test d'un utilisateur, la compression a ralenti la génération au lieu de l'accélérer.

Les points forts

  • Fait tourner des modèles de 70B à 2.8T paramètres avec quelques gigaoctets de VRAM, selon le README et les notes de version
  • Un seul appel à `AutoModel.from_pretrained` pour la plupart des modèles Hugging Face
  • Fine-tuning LoRA en streaming sur de petits GPU depuis la version 4.0.0
  • Apache-2.0 et entièrement local

Les points faibles

  • Kimi K3 génère à 292 secondes par token ; des utilisateurs relèvent 13.3 à 28.6 secondes par token sur des modèles de 3B à 32B
  • L'accélération de 3x par compression annoncée dans le README est contredite par le test d'un utilisateur qui a trouvé 4-bit 8 fois plus lent
  • Exige de la place pour une seconde copie découpée de chaque modèle
  • Sous macOS, limité aux modèles de type Llama

Idéal pour

Les chercheurs et amateurs qui doivent exécuter ou affiner un modèle bien plus grand que leur GPU pour quelques requêtes et peuvent attendre des minutes pour chaque réponse.

Alternatives à AirLLM

AirLLM : questions fréquentes

AirLLM vaut-il le coup ?
AirLLM fait vraiment tenir des modèles géants dans quelques gigaoctets de mémoire GPU, mais à des secondes ou des minutes par token, il sert à exécuter un modèle une fois, pas à discuter avec lui. Nous lui donnons 3.3 sur 5.
Combien coûte AirLLM ?
Gratuit et open source sous licence Apache-2.0 ; aucune offre payante.
Quels sont les inconvénients de AirLLM ?
Kimi K3 génère à 292 secondes par token ; des utilisateurs relèvent 13.3 à 28.6 secondes par token sur des modèles de 3B à 32B; l'accélération de 3x par compression annoncée dans le README est contredite par le test d'un utilisateur qui a trouvé 4-bit 8 fois plus lent; exige de la place pour une seconde copie découpée de chaque modèle; sous macOS, limité aux modèles de type Llama.
À qui s’adresse AirLLM ?
Les chercheurs et amateurs qui doivent exécuter ou affiner un modèle bien plus grand que leur GPU pour quelques requêtes et peuvent attendre des minutes pour chaque réponse.
Combien coûte AirLLM pour une équipe ou en production ?
Gratuit ; les vrais coûts sont le disque (environ 360GB pour Qwen3.8-Flash-Next, un checkpoint de 1.56TB pour Kimi K3) et le temps, puisque chaque token refait passer tout le modèle par le GPU.
AirLLM est-il sûr pour les données de l’entreprise ?
Tourne sur votre propre machine ; le seul usage réseau décrit est le téléchargement de modèles depuis Hugging Face, avec un `hf_token` optionnel pour les modèles à accès restreint.
Quelles sont les meilleures alternatives à AirLLM ?
Les alternatives les plus proches que nous avons testées sont llama.cpp, Ollama et Unsloth.

Réponses vérifiées le 18 nov. 2026.