Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Parameter-efficient fine-tuning

O parameter-efficient fine-tuning (PEFT, fine-tuning eficiente em parâmetros) adapta um modelo pré-treinado treinando apenas um pequeno número de parâmetros novos ou selecionados e deixando o resto congelado. Ele reduz a memória, o processamento e o armazenamento que o fine-tuning completo exige.

Também chamado: PEFT

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O fine-tuning completo atualiza todos os pesos de um modelo. Para um modelo com bilhões de parâmetros, isso exige várias GPUs grandes, e cada cópia ajustada é tão grande quanto a original. Os métodos PEFT evitam isso congelando o modelo base e treinando um pequeno complemento.

Como funciona

O método mais conhecido é o LoRA, que adiciona pequenas matrizes de baixo posto ao lado das matrizes de pesos existentes e treina só elas. Outras famílias adicionam curtos "soft prompts" treináveis à entrada (prompt tuning, prefix tuning), inserem pequenas camadas adapter entre as existentes ou treinam só um subconjunto dos pesos existentes. O QLoRA combina LoRA com um modelo base quantizado, para que o treinamento caiba em uma única GPU de consumo para muitos tamanhos de modelo.

O resultado costuma ser um arquivo de alguns megabytes a algumas centenas de megabytes que você carrega por cima do modelo base. Um modelo base pode servir vários adapters, um por cliente ou tarefa.

Por que importa

O PEFT é o motivo de o fine-tuning de modelos abertos ser viável em hardware modesto. Bibliotecas como Hugging Face PEFT, Unsloth e LLaMA-Factory encapsulam esses métodos. A qualidade em uma tarefa restrita muitas vezes fica perto do fine-tuning completo.

Limites

O PEFT muda bem o comportamento e o estilo, mas é uma forma fraca de adicionar grandes volumes de conhecimento novo; a retrieval-augmented generation costuma ser melhor para isso. Um adapter fica preso ao modelo base exato em que foi treinado e não funciona em outro.

Termos relacionados

LoRA
LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning que congela os pesos originais de um modelo e treina pequenas matrizes de baixo posto adicionadas às suas camadas, então muito menos parâmetros mudam e é preciso bem menos memória de GPU.
Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
Pesos do modelo
Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.

Fontes