Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

AirLLM

Biblioteca de Python que ejecuta modelos abiertos muy grandes en una GPU pequeña cargando una capa cada vez desde disco, a segundos o minutos por token.

Reseña de ReviewRamble editors · Actualizado

Ver en GitHub Código abierto

Comparte esta página:XLinkedInFacebookRedditWhatsAppCorreo

Nuestra nota

3.3/5

AirLLM de verdad mete modelos gigantes en unos pocos gigabytes de memoria de GPU, pero a segundos o minutos por token sirve para ejecutar un modelo una vez, no para conversar con él.

¿Qué es AirLLM?

AirLLM, de Gavin Li, envuelve Hugging Face transformers para que solo una capa del modelo esté en la GPU en cada momento. En la primera carga divide el checkpoint en archivos por capa en el disco; durante la generación carga cada capa, la ejecuta y la descarta, así que la memoria necesaria depende del tamaño de una capa y no del modelo entero. En los modelos de mezcla de expertos puede cargar solo los expertos a los que se dirige cada token.

El README incluye Llama, Qwen, DeepSeek, Mistral, Phi, Gemma, ChatGLM y Kimi K3 entre las familias compatibles, con compresión opcional por bloques de 4 y 8 bits, una vía para CPU y otra para Apple silicon limitada a modelos de tipo Llama. La versión 4.0.0, publicada en septiembre de 2026, añadió ajuste fino LoRA con la misma carga por capas. El código tiene licencia Apache-2.0.

¿Merece la pena AirLLM?

Lo que AirLLM promete sobre memoria se sostiene; el precio es la velocidad, y el README nunca la menciona. El titular dice que los modelos de 70B funcionan en una GPU de 4GB y que Kimi K3, un modelo de 2.8T parámetros, cabe en menos de 4GB. La única cifra de velocidad que han publicado los mantenedores procede de la versión de Kimi K3: en una RTX 6000 Ada, la VRAM máxima fue de 3.72 GB, la preparación tardó 900 segundos y la generación fue de 292 segundos por token, cuatro tokens en 1.168 segundos. Son casi cinco minutos por token, y las notas lo atribuyen al disco.

Los informes de usuarios en el gestor de incidencias sitúan a modelos más pequeños en el mismo terreno. Uno midió Qwen2.5-32B a 13.3 segundos por token en una NVIDIA GB10; otro registró un modelo de 3B a 28.6 segundos por token en una RTX 5060 Ti con Windows; un tercero esperó unos 30 minutos por una respuesta de 120 tokens de gpt-oss-20b en una RTX 3090. La causa es estructural: cada token nuevo vuelve a pasar todas las capas por la GPU, así que el rendimiento lo marcan el disco y el ancho de banda de PCIe, no la tarjeta. El README también promete que la compresión de 4 u 8 bits acelera la inferencia hasta 3x. Una incidencia abierta de agosto de 2026 midió lo contrario con Qwen2.5-32B: 8-bit fue 3.8 veces más lento y 4-bit 8 veces más lento que sin compresión, porque cada capa se vuelve a expandir a 16-bit en cada pasada.

La pega: además de la velocidad, AirLLM necesita mucho disco. Dividir un modelo escribe una segunda copia, por eso el README pide liberar espacio o activar `delete_original`; Qwen3.8-Flash-Next necesita unos 360GB de disco para el checkpoint y un equipo con 64GB, y Kimi K3 es un checkpoint de 1.56TB que necesitaría 3.12TB con una división ingenua. La tabla de modelos del README da a Flash-Next unos 180B parámetros, mientras que sus notas de actualización dicen 125B. En macOS solo funcionan los modelos de tipo Llama, y el README empieza con enlaces promocionales a aplicaciones de IA sin relación. La inferencia es local; el único uso de red descrito es descargar modelos, con un token de Hugging Face para los restringidos.

Nuestra opinión: AirLLM encaja en trabajos puntuales en los que esperar no importa, como comprobar cómo responde un modelo de 70B o 671B a unas pocas preguntas de prueba antes de alquilar GPUs para él, o entrenar un LoRA durante la noche en una tarjeta para juegos. Para cualquier uso interactivo, un modelo cuantizado que quepa en memoria con llama.cpp u Ollama te servirá mucho mejor.

Dónde se gana su sitio

  • Un doctorando con una sola RTX 3090

    Comparar cómo responden un modelo de 70B y otro de 671B a 20 preguntas de evaluación antes de pedir tiempo de clúster

    Carga cada uno con `AutoModel.from_pretrained` y lanza las preguntas como trabajo por lotes durante la noche; el README sitúa DeepSeek-V3 en unos 12GB de VRAM. Deja disco para la copia dividida y cuenta con segundos o minutos por token.

  • Una ingeniera de ML en una pequeña start-up

    Ajustar un adaptador LoRA sobre un modelo de 27B sin alquilar GPU

    La versión 4.0.0 carga los pesos congelados desde disco y deja solo los adaptadores en la GPU; las notas de versión sitúan Qwen3.8-27B en unos 2GB con una longitud de secuencia de 512. Ejecuta `train_qwen38_lora.py` con un archivo JSONL y déjalo trabajando.

  • Un aficionado con un Mac con Apple silicon

    Probar un modelo de la familia Llama más grande que la memoria del Mac

    Instala mlx y torch y usa la misma API; en macOS solo funcionan las arquitecturas `LlamaForCausalLM` y `MistralForCausalLM`. Un usuario midió TinyLlama-1.1B a unos 3 segundos por token en un M1 Pro, así que mantén las peticiones cortas.

Antes de decidirte

Puesta en marcha
`pip install airllm` y después `AutoModel.from_pretrained(<Hugging Face ID>)`. La primera ejecución descarga el checkpoint y lo divide capa a capa, lo que exige más o menos el mismo espacio libre otra vez. Algunos modelos necesitan una versión concreta de transformers o flash-attn.
Integraciones
Hugging Face transformers y Hub; bitsandbytes para la compresión opcional; mlx en macOS. El README no describe ningún servidor ni endpoint compatible con OpenAI.
Datos y privacidad
Se ejecuta en tu propia máquina; el único uso de red descrito es descargar modelos de Hugging Face, con un `hf_token` opcional para los modelos restringidos.
Coste a escala
Gratis; los costes reales son el disco (unos 360GB para Qwen3.8-Flash-Next, un checkpoint de 1.56TB para Kimi K3) y el tiempo, porque cada token vuelve a pasar el modelo entero por la GPU.
Límites
El rendimiento depende del disco; el pull request de Kimi K3 dice que no se probó la memoria con contextos largos; macOS solo admite modelos de tipo Llama; en la prueba de un usuario, la compresión hizo la generación más lenta, no más rápida.

Lo bueno

  • Ejecuta modelos de 70B a 2.8T parámetros con pocos gigabytes de VRAM, según el README y las notas de versión
  • Una sola llamada a `AutoModel.from_pretrained` para la mayoría de los modelos de Hugging Face
  • Ajuste fino LoRA con carga por capas en GPUs pequeñas desde la versión 4.0.0
  • Apache-2.0 y totalmente local

Lo malo

  • Kimi K3 genera a 292 segundos por token; los usuarios registran de 13.3 a 28.6 segundos por token con modelos de 3B a 32B
  • La aceleración de 3x por compresión del README la contradice una prueba de un usuario que halló 4-bit 8 veces más lento
  • Necesita disco para una segunda copia dividida de cada modelo
  • En macOS, limitado a modelos de tipo Llama

Ideal para

Investigadores y aficionados que necesitan ejecutar o ajustar un modelo mucho mayor que su GPU para unas pocas preguntas y pueden esperar minutos por cada respuesta.

Alternativas a AirLLM

AirLLM: preguntas frecuentes

¿Merece la pena AirLLM?
AirLLM de verdad mete modelos gigantes en unos pocos gigabytes de memoria de GPU, pero a segundos o minutos por token sirve para ejecutar un modelo una vez, no para conversar con él. Le damos un 3.3 sobre 5.
¿Cuánto cuesta AirLLM?
Gratis y de código abierto con licencia Apache-2.0; sin plan de pago.
¿Qué inconvenientes tiene AirLLM?
Kimi K3 genera a 292 segundos por token; los usuarios registran de 13.3 a 28.6 segundos por token con modelos de 3B a 32B; la aceleración de 3x por compresión del README la contradice una prueba de un usuario que halló 4-bit 8 veces más lento; necesita disco para una segunda copia dividida de cada modelo; en macOS, limitado a modelos de tipo Llama.
¿Para quién es AirLLM?
Investigadores y aficionados que necesitan ejecutar o ajustar un modelo mucho mayor que su GPU para unas pocas preguntas y pueden esperar minutos por cada respuesta.
¿Cuánto cuesta AirLLM para un equipo o en producción?
Gratis; los costes reales son el disco (unos 360GB para Qwen3.8-Flash-Next, un checkpoint de 1.56TB para Kimi K3) y el tiempo, porque cada token vuelve a pasar el modelo entero por la GPU.
¿Es AirLLM seguro para los datos de la empresa?
Se ejecuta en tu propia máquina; el único uso de red descrito es descargar modelos de Hugging Face, con un `hf_token` opcional para los modelos restringidos.
¿Cuáles son las mejores alternativas a AirLLM?
Las alternativas más cercanas que hemos analizado son llama.cpp, Ollama y Unsloth.

Respuestas comprobadas el 18 nov 2026.