Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

LoRA

LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning que congela los pesos originales de un modelo y entrena pequeñas matrices de bajo rango añadidas a sus capas, de modo que cambian muchos menos parámetros y se necesita mucha menos memoria de GPU.

También llamado: low-rank adaptation, QLoRA

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

El fine-tuning completo actualiza todos los pesos de un modelo, lo que exige memoria para los pesos, sus gradientes y el estado del optimizador. LoRA, presentado por Hu et al. en 2021, deja intactos los pesos base. Para determinadas matrices de pesos aprende dos matrices estrechas cuyo producto es una actualización de bajo rango, y suma esa actualización al peso congelado. Solo se entrenan las matrices estrechas.

Por qué lo usan los desarrolladores

La parte entrenada, llamada adaptador, es pequeña. Puedes mantener un modelo base y muchos adaptadores, uno por cliente o tarea, e intercambiarlos al cargar. El artículo indica que, frente al fine-tuning completo de GPT-3 175B con Adam, LoRA redujo los parámetros entrenables 10.000 veces y la memoria de GPU 3 veces. Como la actualización puede fusionarse de nuevo con los pesos, un modelo LoRA fusionado funciona a la misma velocidad que el original.

QLoRA

QLoRA (Dettmers et al., 2023) combina LoRA con cuantización. El modelo base se guarda congelado en formato de 4 bits y los gradientes lo atraviesan hasta adaptadores LoRA mantenidos en mayor precisión. Los autores afirman haber ajustado así un modelo de 65B parámetros en una sola GPU de 48GB. Es la vía habitual para ajustar grandes modelos de pesos abiertos en una sola tarjeta.

Límites

LoRA restringe cuánto puede cambiar el modelo, así que cambios de comportamiento muy grandes o un idioma nuevo pueden seguir necesitando fine-tuning completo. El rango y las capas que reciben adaptadores son ajustes que tienes que afinar. LoRA es uno de varios métodos de fine-tuning eficiente en parámetros; herramientas como Unsloth y Axolotl lo admiten.

Términos relacionados

Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Fine-tuning eficiente en parámetros
El fine-tuning eficiente en parámetros (PEFT, parameter-efficient fine-tuning) adapta un modelo preentrenado entrenando solo un pequeño número de parámetros nuevos o seleccionados y dejando el resto congelado. Reduce la memoria, el cómputo y el almacenamiento que exige el fine-tuning completo.
Cuantización
La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.

Fuentes