22단계 중 15단계
파인튜닝
오픈 모델을 여러분의 데이터, 어조, 작업에 맞게 조정합니다. 파인튜닝은 스타일과 좁은 기술을 저렴하게 바로잡습니다. 사실을 추가하는 데는 적합하지 않으며, 그것은 검색의 몫입니다.
작성자 Andrew Miller · 2026년 10월 19일 확인 · 리뷰 방법
고르는 방법
- GPU 한 대와 적은 예산: 효율을 위해 만든 LoRA 도구.
- 반복 가능한 멀티 GPU 학습: 설정 파일 기반 프레임워크.
- 이미지 스타일과 캐릭터: 디퓨전 모델용 LoRA 트레이너.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
먼저 LoRA나 QLoRA, 전체 파인튜닝은 이유가 있을 때만
LoRA는 고정된 모델 위에 작은 어댑터 웨이트를 학습하고, QLoRA는 4비트로 불러온 모델에서 같은 일을 해 훨씬 적은 메모리에 들어갑니다. 전체 파인튜닝은 모든 웨이트를 업데이트하며, 모델의 동작을 크게 바꿔야 할 때만 그만한 가치가 있습니다. 먼저 LoRA를 시도하십시오. 더 싸고, 반복이 빠르며, 서빙할 때 어댑터를 바꿔 끼울 수 있습니다. Together AI 같은 관리형 서비스가 LoRA를 기본값으로 두는 것도 같은 이유입니다.
02
빌리기 전에 계산해 둔 GPU 메모리
어떤 GPU가 몇 장 필요한지는 메모리가 정합니다. LlamaFactory가 공개한 7B 모델 추정치는 쓸 만한 경험칙입니다. 혼합 정밀도 전체 파인튜닝에 약 120 GB, 순수 bf16에 60 GB, LoRA에 16 GB, 4비트 QLoRA에 6 GB입니다. 대략 매개변수 수에 비례해 늘리고, 긴 시퀀스를 위한 여유를 더하십시오. Unsloth의 2배 빠르고 메모리 70% 절감 같은 업체의 속도 및 VRAM 주장은 모델마다 달라지는 상한으로 여기는 편이 좋습니다.
03
실제로 필요하게 될 학습 방법
SFT(예시 답변으로 하는 지도 파인튜닝)는 대부분의 스타일과 형식 작업을 다룹니다. DPO, KTO, ORPO 같은 선호 방법은 두 답 가운데 어느 쪽이 더 나은지 모델에 가르칩니다. GRPO 같은 강화학습 방법은 수학이나 코드처럼 검증 가능한 작업에서 정답에 보상합니다. 도구가 지금 필요한 방법과 다음에 필요할 것 같은 방법을 지원하는지 확인하십시오. 예를 들어 LlamaFactory는 GRPO 사용자를 별도 프로젝트로 안내하지만, TRL, Axolotl, Unsloth는 직접 지원합니다.
04
GPU 한 장인가 여러 장인가
단일 GPU 효율과 다중 GPU 확장은 다른 문제입니다. Unsloth는 학습 하나를 카드 한 장에 밀어 넣는 데 맞춰 만들어졌습니다. Axolotl은 FSDP2, DeepSpeed, 다중 노드, 시퀀스 병렬화를 일급 기능으로 다루며, 이는 모델이나 컨텍스트가 더 이상 GPU 한 장에 들어가지 않을 때 중요합니다. TRL은 Accelerate에서 DDP, DeepSpeed, FSDP를 물려받습니다. GPU 한 장을 넘어설 것으로 예상한다면 분산 경로가 덤이 아니라 문서화된 도구를 고르십시오.
05
설정, 코드, UI
YAML 기반 도구(Axolotl, LlamaFactory)는 실행을 재현 가능하고 공유하기 쉽게 만듭니다. 많은 모델 카드가 정확한 Axolotl 설정을 공개합니다. 라이브러리(TRL, Transformers)는 연구나 특이한 파이프라인을 위해 학습 루프를 완전히 제어하게 해 주지만 코드가 더 많아집니다. UI(LlamaFactory의 LlamaBoard, Unsloth Studio, AI Toolkit)는 실험의 문턱을 낮춥니다. 6개월 뒤 누가 작업을 다시 돌릴지로 고르십시오.
06
모델 지원 범위와 새 모델이 들어오는 속도
도구는 채팅 템플릿과 비전 부분까지 포함해 원하는 베이스 모델을 지원해야만 쓸모가 있습니다. 새 아키텍처는 대개 Transformers가 먼저 받고 학습 도구들이 뒤따릅니다. LlamaFactory는 100개가 넘는 언어 및 비전-언어 모델을 나열합니다. 현재 목록만이 아니라, 최근 주요 오픈 모델 몇 개가 얼마나 빨리 지원되었는지 변경 기록에서 확인하십시오.
07
서빙 스택으로 가는 내보내기 경로
학습은 일의 절반입니다. 결과를 병합해 추론 엔진이 불러오는 형식으로 내보낼 수 있는지 확인하십시오. vLLM과 SGLang에는 Safetensors, llama.cpp와 Ollama에는 GGUF입니다. Unsloth는 GGUF로 직접 내보내고, Together AI 같은 관리형 서비스는 웨이트를 내려받거나 전용 엔드포인트에서 서빙하게 해 줍니다. 싸게 서빙할 수 없는 학습은 낭비입니다.
08
도구와 베이스 모델의 라이선스
여기 있는 프레임워크 대부분은 Apache 2.0이나 MIT이지만, Unsloth의 선택 사항인 Studio UI는 AGPL-3.0이어서 제품에 넣는다면 중요합니다. 더 큰 제약은 대개 베이스 모델입니다. 그 라이선스는 사용 제한이나 이름 규칙을 포함해 파인튜닝한 모델로 이어집니다.
선택지별 차이
선택지는 네 계열로 나뉩니다. 학습 라이브러리(TRL, Transformers)는 직접 조립하는 Python 코드입니다. 새 방법을 가장 먼저 받고 완전한 제어를 주지만, 메모리 조정과 분산 설정은 직접 맡아야 합니다. 레시피 프레임워크(Axolotl, LlamaFactory)는 그 라이브러리들을 YAML 설정이나 웹 UI로 감싸, 학습 하나가 파일 하나와 명령 하나가 되게 합니다. Axolotl은 다중 GPU 확장 쪽으로, LlamaFactory는 폭넓은 모델 지원과 노코드 UI 쪽으로 기웁니다. 효율 우선 도구(Unsloth)는 GPU 커널을 다시 써서 더 큰 모델을 카드 한 장에 올립니다.
두 예외가 그림을 완성합니다. AI Toolkit은 이미지와 동영상 디퓨전 모델용 LoRA를 학습하며, 언어 모델 조정과는 다른 일입니다. Together AI 같은 관리형 파인튜닝 API는 GPU를 아예 없애 줍니다. 데이터를 올리고, 학습 토큰당 비용을 내고, 엔드포인트나 내려받을 수 있는 웨이트를 받습니다. 대신 방법이 더 적고(예를 들어 GRPO는 관리형 서비스 밖에 있습니다) 제어도 덜합니다.
도구 8개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| Hugging Face Transformers저장소 | 4.8/5 | 거의 모든 오픈 모델 도구가 Transformers에서 모델 코드를 읽으므로 반드시 알아야 하지만, 이것으로 서빙하는 일은 드뭅니다. | 어떤 수준에서든 오픈 모델을 다루는 Python 개발자와 연구자. | Apache 2.0 라이선스의 무료 오픈소스입니다. Hugging Face는 Hub 요금제와 호스팅 추론을 별도로 판매합니다. |
| Unsloth저장소 | 4.6/5 | Unsloth는 24 GB 카드 한 장을 믿을 만한 파인튜닝 장비로 바꾸며, 두 번째 서버부터는 당연한 선택이 아니게 됩니다. | 제한된 GPU 하드웨어에서 오픈 모델을 파인튜닝하는 개인과 작은 팀. | 무료입니다. 핵심 라이브러리는 Apache 2.0, Studio UI는 AGPL-3.0입니다. 다중 GPU와 다중 노드 학습을 위한 유료 Pro와 Enterprise 등급이 있으며 가격은 공개되지 않았습니다. |
| TRL저장소 | 4.5/5 | TRL은 더 친절한 파인튜닝 도구들이 감싸는 사후 학습 코드입니다. 학습 루프 자체를 바꿔야 할 때 직접 쓰십시오. | 맞춤형 사후 학습 파이프라인을 만드는 ML 엔지니어와 연구자. | Apache 2.0 라이선스의 무료 오픈소스입니다. |
| Together AI도구 | 4.5/5 | Together는 $15 API 충전부터 예약 H100 클러스터까지 모든 단계에서 오픈 모델을 청구서 하나로 돌리며, 전용 하드웨어는 전문 호스트보다 쌉니다. | API 호출에서 파인튜닝과 자체 GPU로 한 제공업체와 함께 옮겨 가고 싶은 오픈 모델 기반 팀. | 선불, 첫 구매 최소 $15, 무료 체험 없음. 100만 토큰당, 예: gpt-oss-120B 입력 $0.15 / 출력 $0.60, Kimi K3 $3 / $15, 배치 최대 50% 할인. 전용 엔드포인트: H100 시간당 $5.49, B200 시간당 $8.99. GPU 클러스터: H100 온디맨드 시간당 $3.99, 선점형 $1.99. 파인튜닝은 100만 토큰당 $0.34부터. |
| Axolotl저장소 | 4.3/5 | Axolotl은 GPU 한 장으로 부족해질 때 미세 조정이 가는 곳입니다. YAML 파일 하나, 모든 병렬화 전략, 그리고 그에 걸맞은 학습 곡선이 있습니다. | 반복 가능한 미세 조정을, 특히 여러 GPU에 걸쳐 돌리는 실무자. | Apache 2.0 라이선스의 무료 오픈소스입니다. |
| LlamaFactory저장소 | 4.3/5 | LlamaFactory는 100개 이상의 오픈 모델에 대한 파인튜닝을 웹 양식으로 바꿔 놓습니다. 버전을 고정한 운영 파이프라인보다는 실험에 더 잘 맞습니다. | 그래픽 인터페이스로 여러 가지 오픈 모델을 파인튜닝하고 싶은 사람. | Apache 2.0 라이선스의 무료 오픈소스입니다. |
| Roboflow도구 | 4.3/5 | Roboflow는 공장이나 창고 팀을 사진 폴더에서 작동하는 탐지 모델까지 무엇보다 빨리 데려갑니다. 누군가 이미지를 쓸 수 있는 기본 권한을 꺼 둔다면 말입니다. | ML 파이프라인을 만들지 않고 맞춤 물체 탐지나 검사 모델이 필요한 운영, 제조, 제품팀. | Free(월 10크레딧), Core 월 $39(20크레딧)부터 월 $1,399(500크레딧)까지, 크레딧당 $3.90에서 $2.86, Enterprise 맞춤 견적. 자체 호스팅 추론은 모든 요금제에서 무료입니다. |
| AI Toolkit저장소 | 4.2/5 | 새로운 공개 이미지·영상 모델 지원은 대개 AI Toolkit에 가장 먼저 들어오며, GPU와 인내심은 사용자가 준비해야 합니다. | 공개 이미지·영상 모델용 LoRA를 학습하 는 크리에이터. | MIT 무료 오픈소스입니다. Ostris Cloud는 미리 구성된 GPU를 초 단위로 대여하며, 시간당 $0.71(A40 48 GB)부터 $2.99(RTX PRO 6000 96 GB)까지입니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 19일에 확인했습니다. 도입 전에 공급업체 사이트에서 확인하세요.
| 도구 | 인터페이스 | 방법 | LoRA / QLoRA / 전체 | 다중 GPU | 하드웨어 | 라이선스 |
|---|---|---|---|---|---|---|
| Hugging Face Transformers | Python 라이브러리(Trainer) | 지도 학습 | 전체, PEFT를 통한 LoRA | DDP, DeepSpeed, FSDP | PyTorch 기기 | Apache 2.0 |
| Unsloth | Python 라이브러리, Studio UI, 데스크톱 | SFT, DPO, GRPO, GSPO, 사전 학습 | LoRA, QLoRA, 전체, FP8 | 지원(설정은 문서 참고) | NVIDIA, AMD, Intel GPUs | 코어는 Apache 2.0, Studio는 AGPL-3.0 |
| TRL | Python 라이브러리 + CLI | SFT, DPO, KTO, GRPO, 보상 모델 | PEFT를 통한 LoRA/QLoRA, 전체 | DDP, DeepSpeed, FSDP (Accelerate) | PyTorch GPU, AWS Trainium | Apache 2.0 |
| Together AI | 관리형 API | SFT, DPO(GRPO는 별도 제품) | LoRA(기본), 전체 | 관리형 | Together의 GPU | 유료, 학습 토큰당 |
| Axolotl | YAML 설정 + CLI | SFT, DPO, KTO, ORPO, GRPO, 보상 모델 | LoRA, QLoRA, 전체, QAT | FSDP2, DeepSpeed, 다중 노드 | NVIDIA (Ampere+), AMD | Apache 2.0 |
| LlamaFactory | 웹 UI + YAML CLI | SFT, RM, PPO, DPO, KTO, ORPO, SimPO | LoRA, QLoRA 2–8비트, 동결, 전체 | DeepSpeed, FSDP, Megatron | NVIDIA, AMD, Ascend NPU | Apache 2.0 |
| AI Toolkit | YAML 설정 + 웹 UI | 디퓨전 LoRA 학습 | LoRA(이미지 및 동영상 모델) | 공개되지 않음 | 보통 고급 GPU | MIT |
이 단계가 쓰이는 곳
- 이미지 생성 파이프라인: AI Toolkit부터 시작하겠습니다.
- 직접 파인튜닝한 모델: Unsloth, Axolotl부터 시작하겠습니다.