Modelos de IA gigantes en un PC corriente: Colibri, Strata, AirLLM y FreeToken comparados

Ya puedes ejecutar un modelo con cientos de miles de millones de parámetros en un PC de escritorio. Si te conviene depende de una pregunta: qué partes del modelo tienen que moverse entre tu SSD, tu RAM y tu tarjeta gráfica, y con qué frecuencia. Cuatro motores de código abierto la responden de forma distinta, y la respuesta decide si obtienes una contestación en segundos o una palabra cada cuarto de minuto.

Por qué esto funciona

La mayoría de los grandes modelos abiertos son ahora modelos mixture-of-experts (MoE). Cada uno es un grupo de pequeñas redes especialistas, y para cada palabra solo unas pocas hacen el trabajo. Un modelo de 744.000 millones de parámetros puede usar un pequeño porcentaje de sus pesos por token. Si puedes mantener los expertos más ocupados cerca del procesador y traer el resto cuando haga falta, no necesitas la memoria de un centro de datos.

Piensa en la memoria gráfica como tu mesa, en la RAM como la estantería que tienes detrás y en el SSD como la biblioteca al final del pasillo. Cada experto que no está en la mesa cuando se necesita cuesta un viaje, y los motores que siguen son distintas estrategias para hacer menos viajes y más cortos.

Colibri: cualquier modelo, si puedes esperar

Colibri (4.2) es un motor en C puro que trata el disco como parte de la memoria. Mantiene en RAM los pesos más usados y transmite el resto de expertos desde una unidad NVMe. Eso hace que modelos enormes arranquen en máquinas modestas, a un precio que su README reconoce abiertamente: GLM-5.2, un modelo de 744B, decodifica a entre 0,05 y 0,1 tokens por segundo en frío en el portátil de 25 GB donde empezó el proyecto, más o menos una palabra cada 10 a 20 segundos. En un Ryzen AI Max+ 395 con 128 GB llega a 1,83. Donde resulta agradable es con modelos MoE más pequeños: Qwen3.6-35B-A3B funciona a 6,0 tokens por segundo en CPU y a 30,0 con CUDA.

La pega: "en frío" significa que aún no hay nada en caché, y las primeras ejecuciones con un modelo grande son tan lentas que parecen rotas. Los modelos grandes también implican descargas de cientos de gigabytes. Colibri analiza en C archivos de modelo muy grandes y publicó ocho avisos de seguridad en agosto, así que usa solo archivos de modelo de fuentes de confianza.

Strata: una familia de modelos, rápida en un PC gaming

Strata (4.0) hace lo contrario: en lugar de ejecutarlo todo despacio, ejecuta deprisa Qwen3.8-Flash-Next y DeepSeek V4.1-Flash. Fija en la GPU los expertos más usados, calcula el resto en la CPU desde la RAM en lugar de trasladarlos, guarda una gran tabla de consulta en el SSD y usa decodificación especulativa, en la que un pequeño modelo auxiliar redacta palabras y el modelo principal las comprueba. Las mediciones del propio proyecto en una RTX 5070 de 12 GB con un Ryzen 5 7600 muestran 93 tokens por segundo con contexto de 4K con el pack Q2_0 y 53 con el IQ3_S, de mayor calidad, y los informes de la comunidad con tarjetas AMD están en el mismo rango.

La pega: esos packs necesitan de 37,6 a 54,8 GB de RAM y VRAM combinadas, así que 64 GB de RAM es el mínimo realista. Las velocidades con contexto de 4K también favorecen demasiado las sesiones largas de programación, y el proyecto es en gran parte obra de un solo desarrollador, con versiones nuevas cada pocos días.

AirLLM: la menor memoria de GPU, la mayor paciencia

AirLLM mantiene en la GPU una sola capa del modelo cada vez y carga cada una desde el disco cuando hace falta. Así es como su README puede incluir un modelo de 70B en una tarjeta de 4 GB y Llama 3.1 405B en 8 GB, y su línea v3 añade streaming por experto para Kimi K3, que según el proyecto funcionó en 3,72 GB de VRAM. Es una biblioteca de Python, así que un primer experimento son unas pocas líneas con AutoModel.

La pega: el titular es una cifra de memoria, no de velocidad. AirLLM divide primero el checkpoint en archivos por capa, algo que el README llama "muy exigente en disco" (unos 360 GB para Qwen3.8-Flash-Next), y señala la carga desde disco como el principal cuello de botella. No publica cifras de tokens por segundo. La compresión opcional a 4 u 8 bits lo hace hasta tres veces más rápido.

FreeToken: pensado para agentes que vuelven a por más

FreeToken, de un equipo de investigación universitario (artículo), mantiene todos los pesos en RAM y convierte la memoria de GPU sobrante en una caché compartida de expertos usados recientemente. Cuando falta un experto, decide en cada caso si es más rápido copiarlo por PCIe o calcularlo en la CPU, según el ancho de banda que mide. También puede cambiar cómo se reparte la memoria de GPU entre la caché de expertos y la memoria de la conversación sin reiniciar.

Su rasgo distintivo está pensado para agentes de programación. Un agente edita argumentos de herramientas e inyecta la salida de comandos a mitad de conversación, lo que normalmente obliga a un motor a recalcular todo el prompt. FreeToken guarda el estado interno del modelo en los límites lógicos de cada tarea y lo reutiliza, así que el décimo turno de una sesión no debería costar tanto como el primero. La guía de Better Stack cubre la instalación y las velocidades frente a Ollama. Es Apache-2.0, admite tarjetas NVIDIA RTX 30, 40 y 50 en Windows y Linux, y funciona con Claude Code, Codex y OpenCode a través de API compatibles con OpenAI y Anthropic.

La pega: de momento solo NVIDIA; el soporte para AMD solo existe en un fork de la comunidad. La página del proyecto no publica cifras de benchmark propias, y con 281 incidencias abiertas avanza deprisa.

Cuál probar primero

Elige el modelo antes que el motor. Un runtime rápido no puede salvar un modelo que falla en tu tarea o que tiene una licencia que no puedes usar.

Para un asistente rápido y ágil en un PC gaming con 64 GB de RAM, Strata es el camino más corto, siempre que Qwen3.8-Flash-Next o DeepSeek V4.1-Flash sean el modelo que quieres. Para sesiones largas de agentes en una tarjeta NVIDIA, FreeToken está diseñado exactamente para esa carga; cronometra una tarea completa, no una respuesta. Para probar un modelo demasiado grande para tu máquina, Colibri lo ejecutará, despacio, y te dice con honestidad cuánto. Para un experimento en Python en una GPU pequeña donde esperar no importa, AirLLM es el más fácil de programar.

Si ninguno te convence, llama.cpp y Ollama siguen siendo la opción fiable para modelos que caben en tu memoria.

Nuestra opinión: el motor adecuado es aquel cuyos viajes a la biblioteca encajan con tu paciencia. Mide el segundo y el décimo turno de una sesión real, no la primera respuesta a "hola".