본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

파라미터 효율적 파인튜닝(PEFT)

파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.

다른 이름: PEFT

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

전체 파인튜닝은 모델의 모든 가중치를 업데이트합니다. 파라미터가 수십억 개인 모델이라면 대형 GPU가 여러 장 필요하고, 파인튜닝한 사본 하나하나가 원본만큼 큽니다. PEFT 방법은 기본 모델을 고정하고 작은 추가 요소만 학습해 이를 피합니다.

작동 방식

가장 잘 알려진 방법은 LoRA로, 기존 가중치 행렬 옆에 작은 저랭크 행렬을 더하고 그것만 학습합니다. 다른 계열로는 입력에 학습 가능한 짧은 "소프트 프롬프트"를 붙이는 방법(prompt tuning, prefix tuning), 기존 레이어 사이에 작은 어댑터 레이어를 끼우는 방법, 기존 가중치의 일부만 학습하는 방법이 있습니다. QLoRA는 LoRA와 양자화된 기본 모델을 결합해, 여러 모델 크기에서 소비자용 GPU 한 장으로 학습할 수 있게 합니다.

결과물은 보통 몇 메가바이트에서 몇백 메가바이트 크기의 파일이며, 기본 모델 위에 불러와 씁니다. 기본 모델 하나로 고객이나 작업별 어댑터 여러 개를 서빙할 수 있습니다.

왜 중요한가

PEFT 덕분에 평범한 하드웨어에서도 오픈 모델을 파인튜닝할 수 있습니다. Hugging Face PEFT, Unsloth, LLaMA-Factory 같은 라이브러리가 이런 방법을 감싸 제공합니다. 좁은 작업에서의 품질은 전체 파인튜닝에 가까운 경우가 많습니다.

한계

PEFT는 동작과 스타일을 바꾸는 데는 좋지만, 새로운 지식을 대량으로 더하는 방법으로는 약합니다. 그런 경우에는 보통 검색 증강 생성이 더 낫습니다. 어댑터는 학습에 쓴 바로 그 기본 모델에 묶여 있어 다른 모델에서는 작동하지 않습니다.

관련 용어

LoRA
LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.
파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.

출처