Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

LoRA

LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning que congela os pesos originais de um modelo e treina pequenas matrizes de baixo posto adicionadas às suas camadas, então muito menos parâmetros mudam e é preciso bem menos memória de GPU.

Também chamado: low-rank adaptation, QLoRA

Por Divya Sharma · Verificado em 16 de nov. de 2026 · Como analisamos

O fine-tuning completo atualiza todos os pesos de um modelo, o que exige memória para os pesos, seus gradientes e o estado do otimizador. O LoRA, apresentado por Hu et al. em 2021, deixa os pesos base intactos. Para matrizes de pesos selecionadas, ele aprende duas matrizes finas cujo produto é uma atualização de baixo posto, e soma essa atualização ao peso congelado. Só as matrizes finas são treinadas.

Por que quem constrói usa

A parte treinada, chamada de adapter, é pequena. Você pode manter um modelo base e vários adapters, um por cliente ou tarefa, e trocá-los no momento do carregamento. O artigo relata que, comparado ao fine-tuning completo do GPT-3 175B com Adam, o LoRA reduziu os parâmetros treináveis em 10.000 vezes e a memória de GPU em 3 vezes. Como a atualização pode ser incorporada de volta aos pesos, um modelo LoRA mesclado roda na mesma velocidade do original.

QLoRA

O QLoRA (Dettmers et al., 2023) combina LoRA com quantização. O modelo base fica armazenado congelado em 4 bits, e os gradientes passam por ele até adapters LoRA mantidos em precisão maior. Os autores relatam o fine-tuning de um modelo de 65B parâmetros em uma única GPU de 48GB dessa forma. É o caminho usual para ajustar grandes modelos open-weight em uma só placa.

Limites

O LoRA restringe o quanto o modelo pode mudar, então mudanças muito grandes de comportamento ou um idioma novo ainda podem exigir fine-tuning completo. O posto e quais camadas recebem adapters são configurações que você precisa ajustar. O LoRA é um de vários métodos de parameter-efficient fine-tuning; ferramentas como Unsloth e Axolotl dão suporte a ele.

Termos relacionados

Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
Parameter-efficient fine-tuning
O parameter-efficient fine-tuning (PEFT, fine-tuning eficiente em parâmetros) adapta um modelo pré-treinado treinando apenas um pequeno número de parâmetros novos ou selecionados e deixando o resto congelado. Ele reduz a memória, o processamento e o armazenamento que o fine-tuning completo exige.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.

Fontes