MiniMindとは？
MiniMind は、小さな言語モデルを端から端まで作る学習用プロジェクトです。独自の BPE トークナイザー、事前学習、教師ありファインチューニング、LoRA、選好チューニング（DPO）、強化学習（PPO、GRPO、CISPO）、ツール利用、蒸留という全工程を 1 枚の GPU で進めます。各段階はフレームワークのラッパー経由ではなく、PyTorch で直接書かれています。
メインブランチの最小モデル minimind-3 は約 64M パラメータで、GPT-3 のおよそ 2,700 分の 1 の大きさです。Jingyao Gong が 2024 年から保守しており、2026年4月の書き直しで設計を Qwen3 および Qwen3-MoE 系に合わせ、エージェント的な強化学習のスクリプトを追加しました。派生として、視覚（MiniMind-V）、任意から任意（MiniMind-O）、拡散型言語モデル、線形アテンションの変種があります。コード、データ、学習済みの重みはすべて公開されています。
MiniMindは使う価値があるか？
価値は出来上がるモデルではなく、読むことにあります。各段階が素の PyTorch で書き出され、データと学習済みの重みも一緒に公開されているので、トークナイザー、事前学習のループ、SFT、DPO、GRPO を 1 行ずつ追い、それぞれを 1 枚のカードで実行できます。多くのチュートリアルが残す空白はここです。既存モデルを `transformers` の十数行でファインチューニングするだけで、その下のループは決して見せません。
見出しの主張は見かけより狭いものです。「2 時間、3 CNY」という数字は、1 時間あたり約 1.3 CNY でレンタルした NVIDIA 3090 上で、事前学習に SFT を足した最小実行を 1 エポック回したときの値で、学習全体ではありません。ドキュメントのより完全な実行はずっと長くかかり、64M モデルの知識ベンチマークはほぼ当て推量に近い水準です。C-Eval で 24.89、ARC-Easy で 28.49 で、より大きな SmolLM2-135M や TinyLlama が楽に上回る程度です。プロジェクト は、この規模のモデルは学習用で実用ではないと率直に述べています。
また、一度きりではなく実際に保守されています。スター 65,230、2026年10月下旬までのコミット、lm-eval による第三者ベンチマーク対応があります。ただし派生の「ゼロから」は細かい字を読んでください。MiniMind-V はゼロからではなくベースモデルの重みから続けています。
注意点：解説は中国語が最も分かりやすく、英語の README は翻訳です。コードは Apache 2.0 でも、一部のベンチマーク用データセットや合成 SFT データの一部には非商用ライセンスが付いており、GPU も必要です。3090 かそれに近いものが前提で、高速実行は 24 GB 向けに調整されています。
結論：nanochat は同じことを 1 本のスクリプトで教えます。MiniMind はそれを学習メニュー全体に広げ、nanochat が省く強化学習の段階も含めて、各段階を文書化しています。
真価を発揮する場面
言語モデルを学び始めたコンピューターサイエンスの学生
ライブラリを呼ぶだけでなく、事前学習とファインチューニングが実際に何をするかを見たい
最小の事前学習に SFT を足して 1 枚の 3090 で実行します。約 2.31 時間、レンタル GPU の時間でおよそ 3 CNY で、そのあとチャットモデルを生んだループを読みます。公開済みの重みを使えば、学習を飛ばして完成したモデルを調べることもできます。
LLM の強化学習を学ぶ ML エンジニア
フレームワークに隠されずに DPO と GRPO を一度実装したい
リポジトリは DPO、PPO、GRPO、CISPO を対応するデータセットとともに PyTorch でゼロから実装しているので、本来ならクラスターが要る処理を 64M モデルで、選好チューニングやエージェント的 RL の実行として追えます。
ワークショップや講座の講師
受講者が自分のノート PC や安価なクラウド GPU で実行できる、完全な学習パイプラインを渡したい
公開データと高速設定を案内します。完全な「Zero」チャットモデルは 1 枚のカードで約 2 時間でゼロから学習できるので、全員が 1 回のセッションで終えられます。商用で再利用する前にデータセットのライセンスを確認してください。
導入前に確認すること
- 導入
- リポジトリをクローンし、`pip install -r requirements.txt` を実行し、ModelScope か Hugging Face からデータセットを `./dataset/` にダウンロードして、事前学習と SFT のスクリプトを実行します。3090 クラスの GPU 1 枚が前提です。
- 連携
- 素の PyTorch で transformers、trl、peft と互換性があり、llama.cpp、vLLM、Ollama へエクスポートできます。複数 GPU には DDP と DeepSpeed、ログには wandb か SwanLab、さらに OpenAI 互換の API サーバーと Streamlit の Web UI があります。
- データとプライバシー
- 学習データはすべて公開され、手元のマシンでローカルに実行されます。どこにも送信されません。出典はクリーニングと重複除去を経た公開コーパスと蒸留コーパスで、Apache 2.0 や CC-BY-NC を含む混在ライセンスです。
- 大規模利用時のコスト
- かかるのは GPU の時間だけです。高速実行はレンタルした 3090 で約 3 CNY、ドキュメントの見積もりでは全工程で 26M モデルがおよそ 50 CNY、0.1B モデルが約 159 CNY です。
- 制限
- 64M モデルは学習用で本番向けではありません。知識ベンチマークのスコアはほぼ当て推量に近く、ドキュメントは中国語が最も充実しており、一部のデータセットは非商用です。
良い点
- トークナイザーから RL まで、各段階が読める素の PyTorch
- コードだけでなく、公開されたデータと学習済みの重み
- 24 GB の GPU 1 枚で高速な事前学習を実行
- 2024 年から活発に保守され、派生モデルもある
気になる点
- 64M モデルは知識ベンチマークでほぼ当て推量の水準
- 「2 時間、3 CNY」は最小実行のみを対象
- 最も分かりやすいのは中国語で、英語は翻訳
- コードは Apache でも一部データセットは非商用
おすすめの人
LLM の学習の全工程を、各段階を 1 枚の GPU で自分で実行して理解したいエンジニアや学生向けです。
MiniMindの代替
MiniMind：よくある質問
- MiniMindは使う価値があるか？
- MiniMind は、トークナイザーから強化学習まで言語モデルの学習方法を学ぶ、最も分かりやすい実践的な手段で、クラスターも、部品を隠すフレームワークも要りません。 評価は5点満点中4.4点です。
- MiniMindの料金は？
- 無料のオープンソース（Apache 2.0）です。かかるのは GPU の時間だけで、README の高速実行はレンタルした 3090 で約 3 CNY です。
- MiniMindの欠点は？
- 64M モデルは知識ベンチマークでほぼ当て推量の水準; 「2 時間、3 CNY」は最小実行のみを対象; 最も分かりやすいのは中国語で、英語は翻訳; コードは Apache でも一部データセットは非商用.
- MiniMindは誰に向いているか？
- LLM の学習の全工程を、各段階を 1 枚の GPU で自分で実行して理解したいエンジニアや学生向けです。
- チームや本番環境でMiniMindを使うと費用はいくらか？
- かかるのは GPU の時間だけです。高速実行はレンタルした 3090 で約 3 CNY、ドキュメントの見積もりでは全工程で 26M モデルがおよそ 50 CNY、0.1B モデルが約 159 CNY です。
- MiniMindは企業データを扱っても安全か？
- 学習データはすべて公開され、手元のマシンでローカルに実行されます。どこにも送信されません。出典はクリーニングと重複除去を経た公開コーパスと蒸留コーパスで、Apache 2.0 や CC-BY-NC を含む混在ライセンスです。
- MiniMindの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はnanochat 、 Unslothです。
回答確認日：2026年11月14日
MiniMindの開発元の方へ：この評価をサイトに掲載できます
