LoRA
LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning que congela los pesos originales de un modelo y entrena pequeñas matrices de bajo rango añadidas a sus capas, de modo que cambian muchos menos parámetros y se necesita mucha menos memoria de GPU.
También llamado: low-rank adaptation, QLoRA
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
El fine-tuning completo actualiza todos los pesos de un modelo, lo que exige memoria para los pesos, sus gradientes y el estado del optimizador. LoRA, presentado por Hu et al. en 2021, deja intactos los pesos base. Para determinadas matrices de pesos aprende dos matrices estrechas cuyo producto es una actualización de bajo rango, y suma esa actualización al peso congelado. Solo se entrenan las matrices estrechas.
Por qué lo usan los desarrolladores
La parte entrenada, llamada adaptador, es pequeña. Puedes mantener un modelo base y muchos adaptadores, uno por cliente o tarea, e intercambiarlos al cargar. El artículo indica que, frente al fine-tuning completo de GPT-3 175B con Adam, LoRA redujo los parámetros entrenables 10.000 veces y la memoria de GPU 3 veces. Como la actualización puede fusionarse de nuevo con los pesos, un modelo LoRA fusionado funciona a la misma velocidad que el original.
QLoRA
QLoRA (Dettmers et al., 2023) combina LoRA con cuantización. El modelo base se guarda congelado en formato de 4 bits y los gradientes lo atraviesan hasta adaptadores LoRA mantenidos en mayor precisión. Los autores afirman haber ajustado así un modelo de 65B parámetros en una sola GPU de 48GB. Es la vía habitual para ajustar grandes modelos de pesos abiertos en una sola tarjeta.
Límites
LoRA restringe cuánto puede cambiar el modelo, así que cambios de comportamiento muy grandes o un idioma nuevo pueden seguir necesitando fine-tuning completo. El rango y las capas que reciben adaptadores son ajustes que tienes que afinar. LoRA es uno de varios métodos de fine-tuning eficiente en parámetros; herramientas como Unsloth y Axolotl lo admiten.
Términos relacionados
- Fine-tuning
- El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
- Fine-tuning eficiente en parámetros
- El fine-tuning eficiente en parámetros (PEFT, parameter-efficient fine-tuning) adapta un modelo preentrenado entrenando solo un pequeño número de parámetros nuevos o seleccionados y dejando el resto congelado. Reduce la memoria, el cómputo y el almacenamiento que exige el fine-tuning completo.
- Cuantización
- La cuantización (quantization) es una técnica que guarda los pesos de un modelo, y a veces las activaciones, con menos bits, como 8 o 4 en lugar de 16, para que el modelo necesite menos memoria y a menudo funcione más rápido, a costa de cierta precisión.
- Fine-tuning supervisado
- El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.