LlamaFactory의 개요
LlamaFactory는 100개가 넘는 언어 모델과 비전 언어 모델을 지원하는 파인튜닝 프레임워크입니다. 웹 인터페이스(Gradio 기반 LlamaBoard)나 YAML 파일을 쓰는 명령줄에서 학습을 설정하고 시작할 수 있습니다.
LoRA, 2비트에서 8비트까지의 QLoRA, freeze 및 전체 파인튜닝, 그리고 DPO, KTO, ORPO, PPO 같은 선호도 학습 방법을 지원합니다. NVIDIA GPU와 Huawei Ascend NPU에서 돌아가며, 최근 커밋으로 Intel XPU와 Biren 가속기도 지원합니다. ACL 2024에 논문으로 발표되었습니다.
마지막 태그 릴리스인 v0.9.5는 2026년 5월 30일에 나왔고 여전히 PyPI의 버전입니다. main 브랜치는 활발하며 2026년 10월 21일에도 커밋이 있었습니다.
LlamaFactory, 쓸 만한 가치가 있습니까?
LlamaFactory는 학습 코드를 쓰지 않고 다양한 오픈 모델을 파인튜닝하는 가장 쉬운 방법입니다. LlamaBoard에서 모델, 데이터셋, 방법을 고르고, 손실 곡선을 보고, 결과물과 대화할 수 있습니다. 같은 실행을 llamafactory-cli용 YAML 파일로도 둘 수 있습니다. GitHub 스타 약 75,700개로 인기 면에서 Unsloth와 비슷합니다.
README에서 계획 세우기에 가장 유용한 부분은 예상 VRAM 표입니다. 7B 모델의 LoRA는 약 16 GB, 4비트 QLoRA는 약 6 GB가 필요합니다. 70B 모델의 4비트 QLoRA는 약 48 GB, 7B의 16비트 전체 파인튜닝은 60 GB부터 필요합니다. FSDP와 QLoRA를 함께 쓰면 70B 모델이 24 GB GPU 두 장에 들어가며, 프로젝트 블로그는 RTX 4090 두 장과 CPU 메모리로 파라미터 1,000B(1조) 개 규모의 모델을 KTransformers로 파인튜닝하는 방법을 설명합니다. 바로 쓸 수 있는 Docker 이미지와 함께 Ascend NPU를 지원한다는 점은 CUDA 전용 도구 대신 이것을 고를 실질적인 이유입니다.
릴리스 상황은 더 약합니다. 5월의 v0.9.5가 여전히 최신 태그이자 최신 PyPI 버전이라, 최근 모델 지원이 필요하면 main에서 설치해야 하고, 일부 모델은 transformers도 main 브랜치 버전이 필요합니다. 영어 README의 변경 기록은 2025년 10월에서 멈춰 있어 문서와 코드가 어긋날 수 있습니다.
서빙 쪽은 주의가 필요합니다. GitHub 보안 권고가 4건 공개되었고 그중 3건이 높음 등급이며, 2025년 6월의 원격 코드 실행과 2025년 10월 채팅 API의 로컬 파일 읽기를 동반한 SSRF가 포함됩니다. 웹 UI와 OpenAI 방식 API는 공개 인터넷이 아니라 신뢰할 수 있는 머신에 두어야 합니다. 이웃 도구와 비교하면, Unsloth는 단일 GPU의 속도와 메모리를 추구하고, Axolotl은 재현 가능한 멀티 노드 실행에 흔히 쓰입니다. LlamaFactory는 하나의 인터페이스 뒤에 폭넓은 지원을 두는 쪽을 택했고, 그 때문에 옵션 패널이 처음 쓰는 사람을 압도하기도 합니다.
제 역할을 하는 곳
24 GB RTX 4090 한 장을 가진 ML 엔지니어
사내 지원 상담 기록으로 7B에서 14B 모델 파인튜닝하기
LlamaBoard나 YAML 파일에서 LoRA(7B 기준 약 16 GB)나 4비트 QLoRA(14B 기준 약 12 GB)를 쓴 뒤, 내장 OpenAI 방식 API와 vLLM으로 어댑터를 서빙합니다. 라이선스 비용은 없고, 비용은 자체 GPU 시간입니다.
Huawei Ascend 910B 하드웨어를 쓰는 대학 연구실
CUDA 없이 Qwen이나 GLM 모델 파인튜닝하기
Ascend Docker 이미지(Ubuntu 또는 openEuler 빌드)를 받아 NPU 설치 가이드를 따릅니다. NPU 지원을 이만큼 자세히 문서화한 파인튜닝 도구는 드물어, 연구실이 학습 코드를 이식하는 수고를 덜 수 있습니다.
파인튜닝이 프롬프팅보다 나은지 시험하는 은행의 프로덕트 매니저
ML팀이 코드를 쓰지 않고도 여러 오픈 모델을 빠르게 비교하기
LlamaBoard에서는 분석가가 양식으로 모델과 방법을 바꿀 수 있고, 선호도 튜닝에는 DPO와 KTO가 있습니다. 모델 가중치에는 Llama나 Gemma 약관 같은 각자의 라이선스가 있으므로, 운영 전에 법무팀의 검토를 거쳐야 합니다.
도입 전 확인할 점
- 설정
- 클론한 뒤 pip install -e .(Python 3.11 이상, PyTorch 2.x, CUDA 11.6 이상)로 설치하거나 docker run --gpus=all hiyouga/llamafactory:latest를 실행합니다. 이어서 llamafactory-cli webui를 실행하면 포트 7860에서 LlamaBoard가 열립니다.
- 연동
- Hugging Face 와 ModelScope 모델 및 데이터셋, DeepSpeed, FSDP, Megatron-core, FlashAttention-2, Unsloth, Liger 커널, TensorBoard, Weights & Biases, MLflow, SwanLab 로깅, OpenAI 방식 API 뒤의 vLLM 또는 SGLang 추론을 지원합니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. Weights & Biases나 SwanLab 같은 클라우드 로거를 켜거나 접근 제한이 있는 Hugging Face 데이터셋을 받을 때만 데이터가 밖으로 나갑니다. 코드는 Apache-2.0이지만 각 모델의 가중치에는 고유한 라이선스가 있습니다. 지금까지 보안 권고는 RCE를 포함해 4건입니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이므로 비용은 하드웨어입니다. README 추정에 따르면 70B 모델의 4비트 QLoRA는 약 48 GB(80 GB GPU 한 장), 16비트 LoRA는 약 160 GB(최소 두 장)가 필요하고, 70B의 순수 bf16 전체 학습은 약 600 GB가 필요합니다.
- 제한
- 태그 릴리스가 main보다 몇 달 뒤처집니다. 새 모델은 transformers의 main 버전이 필요한 경우가 많습니다. 열린 이슈와 풀 리퀘스트는 1,202개입니다. 옵션이 많아 설정을 잘못하기 쉽습니다.
좋은 점
- 같은 실행을 위한 Gradio 웹 UI와 YAML CLI
- 100개 이상의 텍스트 및 비전 언어 모델
- 방법과 모델 크기별 VRAM 추정치 공개
- NVIDIA, Ascend NPU, Intel XPU 지원
아쉬운 점
- 마지막 태그 릴리스가 2026년 5월
- 서빙 코드에 과거 RCE와 SSRF 보안 권고
- 영어 문서가 코드보다 뒤처짐
- 살펴봐야 할 옵션이 많음
추천 대상
그래픽 인터페이스로 여러 가지 오픈 모델을 파인튜닝하고 싶은 사람.
LlamaFactory 대안
LlamaFactory: 자주 묻는 질문
- LlamaFactory, 쓸 만한 가치가 있습니까?
- LlamaFactory는 100개 이상의 오픈 모델에 대한 파인튜닝을 웹 양식으로 바꿔 놓습니다. 버전을 고정한 운영 파이프라인보다는 실험에 더 잘 맞습니다. 평점은 5점 만점에 4.3점입니다.
- LlamaFactory의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스입니다.
- LlamaFactory의 단점은 무엇입니까?
- 마지막 태그 릴리스가 2026년 5월; 서빙 코드에 과거 RCE와 SSRF 보안 권고; 영어 문서가 코드보다 뒤처짐; 살펴봐야 할 옵션이 많음.
- LlamaFactory에 적합한 사람은 누구입니까?
- 그래픽 인터페이스로 여러 가지 오픈 모델을 파인튜닝하고 싶은 사람.
- 팀이나 프로덕션 환경에서 LlamaFactory의 비용은 얼마입니까?
- 소프트웨어는 무료이므로 비용은 하드웨어입니다. README 추정에 따르면 70B 모델의 4비트 QLoRA는 약 48 GB(80 GB GPU 한 장), 16비트 LoRA는 약 160 GB(최소 두 장)가 필요하고, 70B의 순수 bf16 전체 학습은 약 600 GB가 필요합니다.
- LlamaFactory에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. Weights & Biases나 SwanLab 같은 클라우드 로거를 켜거나 접근 제한이 있는 Hugging Face 데이터셋을 받을 때만 데이터가 밖으로 나갑니다. 코드는 Apache-2.0이지만 각 모델의 가중치에는 고유한 라이선스가 있습니다. 지금까지 보안 권고는 RCE를 포함해 4건입니다.
- LlamaFactory의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Unsloth, Axolotl 및 TRL입니다.
답변 확인일: 2026년 10월 23일.
LlamaFactory 개발사입니까? 이 평점을 사이트에 표시하십시오
