LlamaFactoryとは?
LlamaFactoryは、100を超える言語モデルおよびビジョン言語モデルをサポートするファインチューニングフレームワークです。Webインターフェース(Gradio上に構築されたLlamaBoard)またはYAMLファイルを用いたコマンドラインから、トレーニングの設定と開始が可能です。
LoRA、2〜8ビットのQLoRA、Freeze、Fullファインチューニングのほか、DPO、KTO、ORPO、PPOなどの選好手法に対応しています。NVIDIA GPU、Huawei Ascend NPU上で動作し、最近のコミットではIntel XPUおよびBirenアクセラレータにも対応しています。本成果はACL 2024で論文として発表されました。
タグ付けされた最新リリースであるv0.9.5は2026年5月30日に公開され、現在もPyPI上のバージョンとなっています。mainブランチは活発に更新されており、2026年10月21日付けの最新コミットが存在します。
LlamaFactoryは使う価値があるか?
LlamaFactoryは、トレーニングコードを書くことなく幅広いオープンモデルをファインチューニングするための最も扱いやすい手段です。LlamaBoardを使用すると、モデル、データセット、手法を選択し、損失曲線を監視しながら結果とチャットできます。また、まったく同じ実行設定がllamafactory-cli用のYAMLファイルとしても提供されます。GitHubスター数は約75,700件で、人気面ではUnslothと並ぶ水準にあります。
READMEに記載されている推定VRAM一覧表は、計画を立てる上で最も役立つ情報です。7BモデルのLoRAには約16 GB、4-bit QLoRAには約6 GBが必要である一方、70Bモデルの4-bit QLoRAには約48 GBが必要で、7BのFull 16-bitファインチューニングは60 GBからとなります。QLoRAを組み合わせたFSDPにより、70Bモデルを2台の24 GB GPUに収めることができます。またプロジェクトブログでは、2台のRTX 4090とCPUメモリを用いて1,000-billion-parameter(1兆パラメータ)のモデルをKTransformersでファインチューニングする 手法が解説されています。ビルド済みDockerイメージを備えたAscend NPUへの対応は、CUDA専用ツールではなく本ツールを選択する明確な理由になります。
リリースの運用面には課題が残ります。5月付けのv0.9.5が依然として最新のタグでありPyPI上の最新バージョンでもあるため、最近のモデルサポートを必要とする場合はmainブランチからインストールすることになります。一部のモデルではtransformersもmainブランチからの導入が必要です。英語版READMEの変更履歴は2025年10月で止まっており、ドキュメントとコードの間で記述が食い違うことがあります。
サービング側には注意を要します。これまでに4件のGitHubセキュリティアドバイザリが公開されており、そのうち3件は高重要度に分類されています。これには2025年6月のリモートコード実行や、2025年10月のChat APIにおけるローカルファイル読み取りを伴うSSRFが含まれます。Web UIおよびOpenAI形式のAPIは信頼できるマシン上に配置すべきであり、公開インターネットに晒してはなりません。競合ツールと比較すると、Unslothは単一GPUでの速度とメモリ効率を追求し、Axolotlは再現性のあるマルチノード実行における標準的な選択肢となっています。LlamaFactoryの強みは単一のインターフェースが持つ対応範囲の広さにありますが、それが原因で設定パネルが初見のユーザーを圧倒することにもつながっています。
真価を発揮する場面
24 GBのRTX 4090を1台所有するMLエンジニア
社内のサポート履歴データを用いて7Bから14Bのモデルをファインチューニングする
LlamaBoardまたはYAMLファイルからLoRA(7Bで約16 GB)または4-bit QLoRA(14Bで約12 GB)を使用し、vLLMを備えた内蔵のOpenAI形式API経由でアダプターを配信します。ライセンス料は不要で、費用は自身のGPU稼働時間のみです。
Huawei Ascend 910Bハードウェアを運用する大学の研究室
CUDAを使用せずにQwenまたはGLMモデルをファインチューニングする
Ascend用のDockerイメージ(UbuntuまたはopenEulerビルド)を取得し、NPUインストールガイドの手順に従います。NPUサポートをここまで詳細に文書化しているファインチューニングツールは少なく、研究室側でのトレーニングコード移植の手間を省けます。
ファインチューニングがプロンプトエンジニアリングより優れているかを検証する銀行のプロダクトマネージャー
MLチームがコードを書くことなく、複数のオープンモデルを迅速に比較する
LlamaBoardを使用することで、アナリストはフォームからモデルや手法を切り替え可能で、選好チューニング用のDPOやKTOも利用できます。モデルの重みにはLlamaやGemmaの利用規約など個別のライセンスが適用されるため、本番運用の前に法務確認を完了させる必 要があります。
導入前に確認すること
- 導入
- リポジトリをクローンして pip install -e . を実行(Python 3.11以降、PyTorch 2.x、CUDA 11.6以降が必要)、または docker run --gpus=all hiyouga/llamafactory:latest を実行します。その後 llamafactory-cli webui を実行するとポート7860でLlamaBoardが起動します。
- 連携
- Hugging FaceおよびModelScopeのモデルとデータセット、DeepSpeed、FSDP、Megatron-core、FlashAttention-2、Unsloth、Ligerカーネル、TensorBoard、Weights & Biases、MLflow、SwanLabによるロギング、OpenAI形式APIの背後で動作するvLLMまたはSGLangによる推論に対応しています。
- データとプライバシー
- ローカル環境で動作します。Weights & BiasesやSwanLabなどのクラウドラガーを有効化するか、アクセス制限付きのHugging Faceデータセットを取得しない限り、データが外部へ送信されることはありません。コードはApache-2.0ですが、各モデルの重みには固有のライセンスが適用されます。現在までにRCEを含む4件のセキュリティアドバイザリが存在します。
- 大規模利用時のコスト
- ソフトウェア自体は無料のため、ハードウェアが主なコストになります。READMEの試算によると、70Bモデルの4-bit QLoRAには約48 GB(80 GB GPU 1基)、16-bit LoRAには約160 GB(少なくとも2基)、Pure-bf16での完全なFullトレーニングには約600 GBが必要です。
- 制限
- タグ付きリリースがmainブランチより数か月遅れており、新しいモデルにはmainブランチのtransformersが必要になることがよくあります。未解決のIssueとPull Requestが1,202件存在し、選択肢の多さから誤設定が生じやすい面があります。
良い点
- 同一の実行設定に対応するGradio Web UIとYAML CLI
- 100以上のテキストおよびビジョン言語モデルに対応
- 手法およびモデルサイズごとに公開された推定VRAM要件
- NVIDIA、Ascend NPU、Intel XPUをサポート
気になる点
- タグ付き最新リリースが2026年5月のまま停滞
- サービングコードにおける過去のRCEおよびSSRFのアドバイザリ
- 英語ドキュメントの更新がコードに遅延
- 把握すべきオプション設定が多数存在
おすすめの人
グラフィカルインターフェースを通じて多種多様なオープンモデルをファインチューニングしたいユーザーに適しています。
LlamaFactoryの代替
LlamaFactory:よくある質問
- LlamaFactoryは使う価値があるか?
- LlamaFactoryは、100以上のオープンモデルに対するファインチューニングをWebフォームの操作へと簡略化します。バージョンを固定した本番パイプラインよりも、実験用途に適しています。 評価は5点満点中4.3点です。
- LlamaFactoryの料金は?
- Apache 2.0ライセンスに基づく無料でオープンソースのソフトウェアです。
- LlamaFactoryの欠点は?
- タグ付き最新リリースが2026年5月のまま停滞; サービングコードにおける過去のRCEおよびSSRFのアドバイザリ; 英語ドキュメントの更新がコードに遅延; 把握すべきオプション設定が多数存在.
- LlamaFactoryは誰に向いているか?
- グラフィカルインターフェースを通じて多種多様なオープンモデルをファインチューニングしたいユーザーに適しています。
- チームや本番環境でLlamaFactoryを使うと費用はいくらか?
- ソフトウェア自体は無料のため、ハードウェアが主なコストになります。READMEの試算によると、70Bモデルの4-bit QLoRAには約48 GB(80 GB GPU 1基)、16-bit LoRAには約160 GB(少なくとも2基)、Pure-bf16での完全なFullトレーニングには約600 GBが必要です。
- LlamaFactoryは企業データを扱っても安全か?
- ローカル環境で動作します。Weights & BiasesやSwanLabなどのクラウドラガーを有効化するか、アクセス制限付きのHugging Faceデータセットを取得しない限り、データが外部へ送信されることはありません。コードはApache-2.0ですが、各モデルの重みには固有のライセンスが適用されます。現在までにRCEを含む4件のセキュリティアドバイザリが存在します。
- LlamaFactoryの代わりになるものは?
- 当サイトでレビューした中で最も近い代替はUnsloth, Axolotl 、 TRLです。
回答確認日:2026年10月23日
