본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

LoRA

LoRA(low-rank adaptation, 저랭크 적응)는 모델의 원래 가중치를 고정하고 레이어에 추가한 작은 저랭크 행렬만 학습하는 파인튜닝 방법입니다. 바뀌는 파라미터가 훨씬 적어 GPU 메모리가 훨씬 덜 필요합니다.

다른 이름: low-rank adaptation, QLoRA

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

전체 파인튜닝은 모델의 모든 가중치를 업데이트하므로 가중치, 그 그래디언트, 옵티마이저 상태를 위한 메모리가 필요합니다. 2021년 Hu 등이 소개한 LoRA는 기본 가중치를 건드리지 않습니다. 선택한 가중치 행렬마다 곱하면 저랭크 업데이트가 되는 얇은 행렬 두 개를 학습하고, 그 업데이트를 고정된 가중치에 더합니다. 학습되는 것은 얇은 행렬뿐입니다.

개발자들이 쓰는 이유

학습된 부분은 어댑터라고 부르며 크기가 작습니다. 기본 모델 하나에 고객이나 작업별로 어댑터를 여러 개 두고, 로드할 때 바꿔 끼울 수 있습니다. 논문은 GPT-3 175B를 Adam으로 전체 파인튜닝하는 것과 비교해 LoRA가 학습 가능한 파라미터를 10,000배, GPU 메모리를 3배 줄였다고 보고합니다. 업데이트를 가중치에 다시 병합할 수 있으므로, 병합된 LoRA 모델은 원래 모델과 같은 속도로 실행됩니다.

QLoRA

QLoRA(Dettmers 등, 2023)는 LoRA와 양자화를 결합합니다. 기본 모델은 4비트 형태로 고정 저장되고, 그래디언트는 이를 거쳐 더 높은 정밀도로 유지되는 LoRA 어댑터로 흘러갑니다. 저자들은 이 방식으로 65B 파라미터 모델을 48GB GPU 한 장에서 파인튜닝했다고 보고합니다. 대형 오픈 웨이트 모델을 카드 한 장으로 튜닝할 때 흔히 쓰는 방법입니다.

한계

LoRA는 모델이 바뀔 수 있는 정도를 제한하므로, 동작을 크게 바꾸거나 새 언어를 가르치려면 여전히 전체 파인튜닝이 필요할 수 있습니다. 랭크와 어댑터를 붙일 레이어는 직접 조정해야 하는 설정입니다. LoRA는 여러 파라미터 효율적 파인튜닝 방법 중 하나이며, Unsloth와 Axolotl 같은 도구가 지원합니다.

관련 용어

파인튜닝(미세 조정)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 모델을 더 작은 작업 특화 데이터셋으로 추가 학습시켜, 처음부터 학습하지 않고도 특정 기술, 형식, 어조, 분야를 익히게 하는 것입니다.
파라미터 효율적 파인튜닝(PEFT)
파라미터 효율적 파인튜닝(parameter-efficient fine-tuning, PEFT)은 사전 학습된 모델에서 새로 추가하거나 선택한 소수의 파라미터만 학습하고 나머지는 고정해 모델을 적응시키는 방법입니다. 전체 파인튜닝에 필요한 메모리, 연산, 저장 공간을 줄입니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
지도 파인튜닝(Supervised fine-tuning)
지도 파인튜닝(supervised fine-tuning, SFT)은 사전 학습된 모델을 예시 프롬프트와 원하는 응답의 쌍으로 추가 학습하는 것입니다. 기본 모델을 지시를 따르는 모델로 바꾸는 일반적인 첫 단계입니다.
VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.

출처