LLM local
Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.
También llamado: run locally, on-device model, Edge AI, on-device AI
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
Ejecutar un modelo en local se volvió práctico cuando se publicaron modelos de pesos abiertos capaces y las herramientas facilitaron el uso de versiones cuantizadas. Una configuración típica descarga un modelo en formato GGUF y lo ejecuta con llama.cpp, cuyo objetivo declarado es la inferencia con una configuración mínima en una amplia variedad de hardware, o con una capa más amigable como Ollama o LM Studio. La mayoría ofrecen una API compatible con OpenAI, así que el código existente puede apuntar al modelo local.
Por qué se hace
La privacidad y el control son los motivos principales: nada sale de la máquina, algo importante para documentos sensibles y para el uso sin conexión. No hay factura por token, y el modelo no cambiará ni se retirará sin avisarte. También es una forma barata de experimentar.
Contrapartidas
El modelo debe caber en la VRAM o en la memoria unificada, lo que limita su tamaño; la calculadora de GPU ayuda a comprobarlo. Los modelos locales suelen ser más pequeños y menos capaces que los mayores modelos frontera alojados, y la velocidad depende de tu hardware. Tú te encargas de las actualizaciones y de revisar la licencia del modelo.
Edge AI
La edge AI, o IA en el dispositivo, es la idea más amplia de ejecutar modelos en el dispositivo donde se generan los datos, como teléfonos, cámaras, coches y sensores, en lugar de en un centro de datos. Abarca pequeños modelos de visión y de voz además de modelos de lenguaje pequeños, y a menudo se ejecuta en una NPU. Google AI Edge es un ejemplo de kit de herramientas para desplegar modelos en dispositivos.
Términos relacionados
- GGUF
- GGUF es un formato de archivo binario que guarda en un solo archivo los pesos, el tokenizador y los metadatos de un modelo, pensado para una carga rápida y para la inferencia local con herramientas basadas en GGML como llama.cpp, a menudo en forma cuantizada.
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Self-hosting (modelos de IA)
- Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.
- Modelo de lenguaje pequeño
- Un modelo de lenguaje pequeño (SLM, small language model) es un modelo de lenguaje con relativamente pocos parámetros, normalmente unos pocos miles de millones o menos, creado para funcionar en un portátil, un teléfono o una sola GPU a menor coste que un modelo grande.
- NPU
- Una NPU (neural processing unit, unidad de procesamiento neuronal) es un chip, o un bloque dentro de un chip mayor, diseñado para ejecutar los cálculos de redes neuronales rápido y con poco consumo. Los teléfonos y portátiles usan NPU para ejecutar pequeños modelos de IA en el propio dispositivo.