Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

LLM local

Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.

También llamado: run locally, on-device model, Edge AI, on-device AI

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

Ejecutar un modelo en local se volvió práctico cuando se publicaron modelos de pesos abiertos capaces y las herramientas facilitaron el uso de versiones cuantizadas. Una configuración típica descarga un modelo en formato GGUF y lo ejecuta con llama.cpp, cuyo objetivo declarado es la inferencia con una configuración mínima en una amplia variedad de hardware, o con una capa más amigable como Ollama o LM Studio. La mayoría ofrecen una API compatible con OpenAI, así que el código existente puede apuntar al modelo local.

Por qué se hace

La privacidad y el control son los motivos principales: nada sale de la máquina, algo importante para documentos sensibles y para el uso sin conexión. No hay factura por token, y el modelo no cambiará ni se retirará sin avisarte. También es una forma barata de experimentar.

Contrapartidas

El modelo debe caber en la VRAM o en la memoria unificada, lo que limita su tamaño; la calculadora de GPU ayuda a comprobarlo. Los modelos locales suelen ser más pequeños y menos capaces que los mayores modelos frontera alojados, y la velocidad depende de tu hardware. Tú te encargas de las actualizaciones y de revisar la licencia del modelo.

Edge AI

La edge AI, o IA en el dispositivo, es la idea más amplia de ejecutar modelos en el dispositivo donde se generan los datos, como teléfonos, cámaras, coches y sensores, en lugar de en un centro de datos. Abarca pequeños modelos de visión y de voz además de modelos de lenguaje pequeños, y a menudo se ejecuta en una NPU. Google AI Edge es un ejemplo de kit de herramientas para desplegar modelos en dispositivos.

Términos relacionados

GGUF
GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
Cuantización
La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
Self-hosting (modelos de IA)
Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.
Modelo de lenguaje pequeño
Un modelo de lenguaje pequeño (SLM, small language model) es un modelo de lenguaje con relativamente pocos parámetros, normalmente unos pocos miles de millones o menos, creado para funcionar en un portátil, un teléfono o una sola GPU a menor coste que un modelo grande.
NPU
Una NPU (neural processing unit, unidad de procesamiento neuronal) es un chip, o un bloque dentro de un chip mayor, diseñado para ejecutar los cálculos de redes neuronales rápido y con poco consumo. Los teléfonos y portátiles usan NPU para ejecutar pequeños modelos de IA en el propio dispositivo.

Fuentes