¿Qué es FreeToken?
FreeToken ejecuta modelos abiertos de mezcla de expertos (MoE), aquellos en los que solo unas pocas de muchas subredes expertas se activan por token, en ordenadores personales en lugar de servidores de centro de datos. Trata la GPU, la CPU, la RAM del sistema y los enlaces entre ellas como un único recurso: los expertos más usados se guardan en caché en la GPU, el resto se transmite o se calcula en la CPU, y el reparto entre la caché de expertos y la memoria KV puede cambiar en marcha sin reiniciar.
El artículo de arXiv que lo acompaña, cuyos 11 autores incluyen a Ion Stoica, Matei Zaharia, Song Han y Kurt Keutzer, afirma admitir más de 20 modelos MoE y cuenta que sirve un modelo de 35B en un portátil, uno de 284B en un ordenador de juegos y el GLM-5.2 de 753B en una sola GPU de estación de trabajo. FreeToken ofrece API compatibles con OpenAI y Anthropic, puede configurar y lanzar Claude Code, Codex u OpenCode contra sí mismo y tiene una app de escritorio para Windows y Linux. Tiene licencia Apache 2.0, se creó el 20 de julio de 2026, tiene unas 17.564 estrellas y publicó la v0.2.2 el 9 de noviembre de 2026.
¿Merece la pena FreeToken?
Ejecutar en casa un modelo abierto del tamaño de los de frontera significaba cuantizar a fondo en llama.cpp o avanzar a paso de tortuga por la memoria del sistema. El argumento de FreeToken es que los modelos MoE abren una tercera vía: como cada token toca solo unos pocos expertos, una GPU de consumo puede alojar los más activos mientras la CPU atiende al resto, siempre que el motor vuelva a decidir constantemente cuáles son cuáles. Su política adaptativa al ancho de banda, la caché LRU global de expertos y el prefill en streaming con doble búfer están hechos justo para eso, y el artículo, enviado el 17 de agosto de 2026, informa de un modelo de 753B en una GPU de estación de trabajo y de 284B en un ordenador de juegos.
La integración con agentes es el atractivo práctico. FreeToken sirve las API de OpenAI y de Anthropic, así que ft launch claude escribe la configuración de proveedor de Claude Code, instala la CLI si falta y la apunta a tu servidor local. Los puntos de control semánticos guardan el estado recurrente y la caché KV en los límites de las llamadas a herramientas y los bloques de razonamiento, de modo que un agente que edita su propio contexto no obliga a recalcular todo el prompt. La v0.2.2 añadió decodificación especulativa; en una H100 llevó Qwen3.8-27B de 50,1 a 215,0 tokens por segundo con un borrador DFlash 2, una mejora de 4,29 veces, aunque es una tarjeta de centro de datos, no el hardware de consumo que da nombre al proyecto.
Los valores de seguridad por defecto son razonables. El servidor escucha en 127.0.0.1, puerto 1919, y no hay clave de API salvo que definas --api-key o FREETOKEN_API_KEY; pon una antes de escuchar en otra dirección. Los pesos de los modelos vienen de Hugging Face o de archivos locales.
Los límites son los de un proyecto joven que avanza deprisa. Solo admite las series NVIDIA RTX 30, 40 y 50, así que no hay nada para Mac ni para tarjetas AMD. El repositorio se creó el 20 de julio de 2026 y tiene 492 incidencias abiertas, la documentación ya incluye una guía para reparar checkpoints FTW antiguos y la decodificación especulativa aún no funciona con paralelismo de tensores en más de una GPU. Frente a Ollama es mucho más capaz con MoE enormes y mucho menos pulido para todo lo demás.
Dónde se gana su sitio
Un desarrollador con un PC de juegos RTX serie 50 y 128 GB de RAM
Usar Claude Code con un modelo abierto grande sin enviar el código a un proveedor
Ejecuta ft serve con un checkpoint MoE compatible y luego ft launch claude para conectar Claude Code al endpoint local compatible con Anthropic. Sin factura de tokens; la velocidad depende de cuántos expertos quepan en la VRAM.
Una ingeniera de investigación que mide la inferencia local para un informe interno
Comparar el servicio de MoE en hardware de consumo con llama.cpp
Ejecuta ft bench bw para que la política híbrida CPU-GPU mida la máquina, sirve el mismo GGUF en ambos motores y compara con el informe de tiempos activado.
Antes de decidirte
- Puesta en marcha
- Instala la app de escritorio para Windows o Linux desde flashml.ai, o uv pip install "freetoken[accel]"; luego ft serve --model con un id de Hugging Face, una carpeta local o un GGUF. El servidor está listo cuando registra 127.0.0.1:1919.
- Integraciones
- API de OpenAI (/v1/chat/completions, /v1/responses) y API de Anthropic (/v1/messages); ft launch para Claude Code, Codex, OpenCode, OpenClaw, Hermes y DeepSeek Harness; checkpoints GGUF, MXFP4, NVFP4, FP8 y BF16; un chat en terminal.
- Datos y privacidad
- Funciona entero en tu máquina. El servidor escucha en 127.0.0.1:1919 por defecto, sin clave de API salvo que la definas, así que añade una antes de exponerlo en una red. ft launch reescribe la configuración de proveedor del agente elegido; --dry-run enseña antes los cambios.
- Coste a escala
- Sin coste de licencia. La factura es el hardware: RAM del sistema y una GPU NVIDIA reciente a la medida del modelo, más la electricidad.
- Límites
- Solo NVIDIA RTX de las series 30, 40 y 50; decodificación especulativa no disponible por encima de TP 1 ni en algunos modelos con atención por ventanas; 492 incidencias abiertas; Windows y WSL limitan la memoria fijada, lo que exige el ajuste automático de capas en CPU.
Lo bueno
- Ejecuta modelos MoE muy grandes repartiendo los expertos entre GPU, CPU y RAM
- API de OpenAI y Anthropic, con configuración en un comando para Claude Code, Codex y OpenCode
- Caché que entiende las ediciones de contexto y evita recalcular los prompts de agentes
- Escucha en localhost por defecto; clave de API opcional en todas las rutas
Lo malo
- Solo NVIDIA RTX de las series 30, 40 y 50; sin soporte para Mac ni AMD
- 492 incidencias abiertas cuatro meses después del lanzamiento
- Las mejoras destacadas se midieron en una H100, no en tarjetas de consumo
- La documentación ya necesita una guía para reparar checkpoints antiguos
Ideal para
Desarrolladores con una GPU NVIDIA reciente de juegos o de estación de trabajo que quieren ejecutar en local modelos MoE abiertos muy grandes detrás de sus agentes de código.
Alternativas a FreeToken
FreeToken: preguntas frecuentes
- ¿Merece la pena FreeToken?
- FreeToken es el intento más serio hasta ahora de ejecutar modelos MoE de la clase de 284B en un PC de juegos, respaldado por un equipo de investigación creíble, pero tiene cuatro meses, solo funciona con NVIDIA y acumula 492 incidencias abiertas. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta FreeToken?
- Gratuito y de código abierto (Apache 2.0), app de escritorio incluida. Tu único coste es el hardware y la electricidad.
- ¿Qué inconvenientes tiene FreeToken?
- Solo NVIDIA RTX de las series 30, 40 y 50; sin soporte para Mac ni AMD; 492 incidencias abiertas cuatro meses después del lanzamiento; las mejoras destacadas se midieron en una H100, no en tarjetas de consumo; la documentación ya necesita una guía para reparar checkpoints antiguos.
- ¿Para quién es FreeToken?
- Desarrolladores con una GPU NVIDIA reciente de juegos o de estación de trabajo que quieren ejecutar en local modelos MoE abiertos muy grandes detrás de sus agentes de código.
- ¿Cuánto cuesta FreeToken para un equipo o en producción?
- Sin coste de licencia. La factura es el hardware: RAM del sistema y una GPU NVIDIA reciente a la medida del modelo, más la electricidad.
- ¿Es FreeToken seguro para los datos de la empresa?
- Funciona entero en tu máquina. El servidor escucha en 127.0.0.1:1919 por defecto, sin clave de API salvo que la definas, así que añade una antes de exponerlo en una red. ft launch reescribe la configuración de proveedor del agente elegido; --dry-run enseña antes los cambios.
- ¿Cuáles son las mejores alternativas a FreeToken?
- Las alternativas más cercanas que hemos analizado son llama.cpp, Ollama, AirLLM y SGLang.
Respuestas comprobadas el 21 nov 2026.