Was ist MiniMind?
MiniMind ist ein Lehrprojekt, um ein kleines Sprachmodell von Anfang bis Ende zu bauen. Es führt die gesamte Pipeline auf einer einzigen GPU durch: einen eigenen BPE-Tokenizer, Pretraining, überwachtes Finetuning, LoRA, Präferenz-Tuning (DPO), Reinforcement Learning (PPO, GRPO, CISPO), Werkzeugnutzung und Destillation, jede Stufe direkt in PyTorch geschrieben statt über einen Framework-Wrapper aufgerufen.
Das kleinste Modell im Hauptzweig, minimind-3, hat etwa 64M Parameter, rund ein 2.700stel der Größe von GPT-3. Jingyao Gong pflegt es seit 2024, und die Neufassung vom April 2026 richtete die Architektur an den Familien Qwen3 und Qwen3-MoE aus und ergänzte ein Skript für agentisches Reinforcement Learning. Ableger decken Vision (MiniMind-V), Any-to-Any (MiniMind-O), ein Diffusions-Sprachmodell und eine Variante mit linearer Aufmerksamkeit ab. Code, Daten und trainierte Gewichte sind alle offen.
Lohnt sich MiniMind?
Der Wert liegt im Lesen, nicht im entstehenden Modell. Weil jede Stufe in nativem PyTorch ausgeschrieben ist, mit den Daten und den trainierten Gewichten daneben veröffentlicht, kannst du einen Tokenizer, eine Pretraining-Schleife, SFT, DPO und GRPO Zeile für Zeile verfolgen und jede auf einer einzigen Karte ausführen. Das ist die Lücke, die die meisten Tutorials offen lassen: Sie finetunen ein vorhandenes Modell in einem Dutzend Zeilen `transformers` und zeigen nie die Schleife darunter.
Die Schlagzeilenbehauptung ist enger, als sie klingt. Die Angabe "2 Stunden, 3 CNY" ist eine Epoche des minimalen Laufs aus Pretraining plus SFT auf einer gemieteten NVIDIA 3090 zu etwa 1,3 CNY pro Stunde, kein vollständiges Training. Vollere Läufe in der Doku dauern viel länger, und das 64M-Modell liegt bei Wissens-Benchmarks nahe am Zufall: 24,89 bei C-Eval und 28,49 bei ARC-Easy, nahe dem, was ein größeres SmolLM2-135M oder TinyLlama bequem übertrifft. Das Projekt sagt offen, dass ein Modell dieser Größe zum Lernen da ist, nicht zum Benutzen.
Es wird außerdem wirklich gepflegt, nicht einmalig: 65.230 Sterne, Commits bis Ende Oktober 2026 und Unterstützung für Drittanbieter-Benchmarks über lm-eval. Lies bei den Ablegern aber das Kleingedruckte zu "von Grund auf"; MiniMind-V setzt auf den Gewichten des Basismodells auf, statt bei null zu beginnen.
Der Haken: Die Darstellung ist auf Chinesisch am klarsten, und das englische README ist eine Übersetzung, einige Benchmark-Datensätze und Teile der synthetischen SFT-Daten tragen eine nicht-kommerzielle Lizenz, obwohl der Code Apache 2.0 ist, und du brauchst eine GPU. Eine 3090 oder Ähnliches wird vorausgesetzt; der schnelle Lauf ist auf 24 GB ausgelegt.
Unser Fazit: nanochat lehrt dieselbe Lektion in einem Skript; MiniMind verteilt sie über das gesamte Trainingsmenü, einschließlich der Reinforcement-Learning-Stufen, die nanochat auslässt, und dokumentiert jede einzelne.
Wo es sich lohnt
Ein Informatikstudent, der neu bei Sprachmodellen ist
Sehen, was Pretraining und Finetuning wirklich tun, statt nur eine Bibliothek aufzurufen
Das minimale Pretraining plus SFT auf einer einzigen 3090 ausführen, etwa 2,31 Stunden und rund 3 CNY gemietete GPU-Zeit, und dann die Schleife lesen, die das Chat-Modell erzeugt hat. Die veröffentlichten Gewichte erlauben auch, das Training zu überspringen und ein fertiges Modell zu untersuchen.
Ein ML-Ingenieur, der Reinforcement Learning für LLMs lernt
DPO und GRPO einmal implementieren, ohne dass ein Framework sie wegabstrahiert
Das Repository implementiert DPO, PPO, GRPO und CISPO von Grund auf in PyTorch mit den passenden Datensätzen, sodass du einen Präferenz-Tuning- oder agentischen RL-Lauf an einem 64M-Modell durchgehen kannst, wo ein vollwertiges einen Cluster bräuchte.
Eine Workshop- oder Kursleiterin
Teilnehmenden eine komplette Trainingspipeline geben, die sie auf dem eigenen Laptop oder einer günstigen Cloud-GPU ausführen können
Verweise sie auf die offenen Daten und die schnelle Konfiguration; ein vollständiges "Zero"-Chat-Modell trainiert von Grund auf in etwa zwei Stunden auf einer Karte, also sind alle in einer Sitzung fertig. Vor jeder kommerziellen Nutzung die Datensatzlizenzen prüfen.
Bevor du dich festlegst
- Einrichtung
- Repository klonen, `pip install -r requirements.txt`, den Datensatz von ModelScope oder Hugging Face nach `./dataset/` herunterladen und dann die Pretrain- und SFT-Skripte ausführen; eine einzelne GPU der 3090-Klasse wird vorausgesetzt.
- Integrationen
- Natives PyTorch mit Kompatibilität zu transformers, trl und peft; Export nach llama.cpp, vLLM und Ollama; DDP und DeepSpeed für mehrere GPUs; Logging mit wandb oder SwanLab; ein OpenAI-kompatibler API-Server und eine Streamlit-Weboberfläche.
- Daten und Datenschutz
- Alle Trainingsdaten sind veröffentlicht und laufen lokal auf deinem eigenen Rechner; es wird nichts irgendwohin gesendet. Die Quellen sind bereinigte und deduplizierte öffentliche und destillierte Korpora mit gemischten Lizenzen, darunter Apache 2.0 und CC-BY-NC.
- Kosten im großen Maßstab
- Nur GPU-Zeit. Der schnelle Lauf kostet etwa 3 CNY auf einer gemieteten 3090; die Doku schätzt rund 50 CNY für das 26M-Modell und etwa 159 CNY für das 0,1B-Modell über die gesamte Pipeline.
- Grenzen
- Ein 64M-Modell ist zum Lernen da, nicht für den Produktivbetrieb; die Wissens-Benchmark-Werte liegen nahe am Zufall; die Dokumentation ist auf Chinesisch am stärksten; einige Datensätze sind nicht-kommerziell.
Was gut ist
- Jede Stufe in lesbarem nativem PyTorch, vom Tokenizer bis zum RL
- Offene Daten und trainierte Gewichte, nicht nur Code
- Führt das schnelle Pretraining auf einer einzigen 24-GB-GPU aus
- Seit 2024 aktiv gepflegt, mit Ableger-Modellen
Was nicht
- Das 64M-Modell liegt bei Wissens-Benchmarks nahe am Zufall
- "2 Stunden, 3 CNY" deckt nur den minimalen Lauf ab
- Am klarsten auf Chinesisch; Englisch ist eine Übersetzung
- Einige Datensätze sind nicht-kommerziell trotz Apache-Code
Am besten für
Entwickler und Studierende, die die gesamte LLM-Trainingspipeline verstehen wollen, indem sie jede Stufe selbst auf einer GPU ausführen.
Alternativen zu MiniMind
MiniMind: häufige Fragen
- Lohnt sich MiniMind?
- MiniMind ist der klarste praktische Weg, zu lernen, wie ein Sprachmodell trainiert wird, vom Tokenizer bis zum Reinforcement Learning, ohne Cluster und ohne ein Framework, das die Teile verbirgt. Wir bewerten es mit 4.4 von 5.
- Was kostet MiniMind?
- Kostenlos und Open Source (Apache 2.0). Der einzige Aufwand ist GPU-Zeit; der schnelle Lauf des README kostet etwa 3 CNY gemietete 3090-Zeit.
- Welche Nachteile hat MiniMind?
- Das 64M-Modell liegt bei Wissens-Benchmarks nahe am Zufall; "2 Stunden, 3 CNY" deckt nur den minimalen Lauf ab; Am klarsten auf Chinesisch; Englisch ist eine Übersetzung; Einige Datensätze sind nicht-kommerziell trotz Apache-Code.
- Für wen eignet sich MiniMind?
- Entwickler und Studierende, die die gesamte LLM-Trainingspipeline verstehen wollen, indem sie jede Stufe selbst auf einer GPU ausführen.
- Was kostet MiniMind für ein Team oder im Produktivbetrieb?
- Nur GPU-Zeit. Der schnelle Lauf kostet etwa 3 CNY auf einer gemieteten 3090; die Doku schätzt rund 50 CNY für das 26M-Modell und etwa 159 CNY für das 0,1B-Modell über die gesamte Pipeline.
- Ist MiniMind sicher für Firmendaten?
- Alle Trainingsdaten sind veröffentlicht und laufen lokal auf deinem eigenen Rechner; es wird nichts irgendwohin gesendet. Die Quellen sind bereinigte und deduplizierte öffentliche und destillierte Korpora mit gemischten Lizenzen, darunter Apache 2.0 und CC-BY-NC.
- Was sind die besten Alternativen zu MiniMind?
- Die nächsten Alternativen, die wir getestet haben, sind nanochat und Unsloth.
Antworten geprüft am 14. Nov. 2026.
Du entwickelst MiniMind? Zeig diese Bewertung auf deiner Website
