Qu’est-ce que MiniMind ?
MiniMind est un projet pédagogique pour construire un petit modèle de langage de bout en bout. Il parcourt toute la chaîne sur un seul GPU : un tokeniseur BPE maison, le pré-entraînement, le fine-tuning supervisé, LoRA, l'ajustement par préférences (DPO), l'apprentissage par renforcement (PPO, GRPO, CISPO), l'usage d'outils et la distillation, chaque étape écrite directement en PyTorch plutôt qu'appelée via un enrobage de framework.
Le plus petit modèle de la branche principale, minimind-3, fait environ 64M de paramètres, à peu près 1/2 700 de la taille de GPT-3. Jingyao Gong le maintient depuis 2024, et la réécriture d'avril 2026 a aligné l'architecture sur les familles Qwen3 et Qwen3-MoE et ajouté un script d'apprentissage par renforcement agentique. Les dérivés couvrent la vision (MiniMind-V), l'any-to-any (MiniMind-O), un modèle de langage par diffusion et une variante à attention linéaire. Le code, les données et les poids entraînés sont tous ouverts.
MiniMind vaut-il le coup ?
La valeur est dans la lecture, pas dans le modèle obtenu. Comme chaque étape est écrite en PyTorch pur, avec les données et les poids entraînés publiés à côté, vous pouvez suivre un tokeniseur, une boucle de pré-entraînement, le SFT, le DPO et le GRPO ligne à ligne et exécuter chacun sur une seule carte. C'est le trou que la plupart des tutoriels laissent ouvert : ils ajustent un modèle existant en une douzaine de lignes de `transformers` et ne montrent jamais la boucle en dessous.
L'annonce phare est plus étroite qu'elle n'en a l'air. Le chiffre de "2 heures, 3 CNY" correspond à une époque de l'exécution minimale pré-entraînement plus SFT sur une NVIDIA 3090 louée à environ 1,3 CNY l'heure, pas à un entraînement complet. Les exécutions plus complètes de la documentation durent bien plus, et le modèle de 64M obtient des scores proches du hasard sur les tests de connaissances : 24,89 à C-Eval et 28,49 à ARC-Easy, proches de ce qu'un SmolLM2-135M ou un TinyLlama plus gros dépassent sans peine. Le projet est honnête : un modèle de cette taille sert à apprendre, pas à s'en servir.
Il est aussi vraiment maintenu, pas ponctuel : 65 230 étoiles, des commits jusqu'à fin octobre 2026 et la prise en charge des tests tiers via lm-eval. Lisez cependant les petites lignes du "de zéro" pour les dérivés ; MiniMind-V part des poids du modèle de base plutôt que de zéro.
Le hic : la rédaction est la plus claire en chinois et le README anglais est une traduction, certains jeux de données de test et des parties des données SFT synthétiques portent une licence non commerciale même si le code est en Apache 2.0, et il vous faut un GPU. Une 3090 ou équivalent est supposée ; l'exécution rapide est calibrée pour 24 Go.
Notre avis : nanochat enseigne la même leçon en un seul script ; MiniMind la répartit sur tout le menu d'entraînement, y compris les étapes d'apprentissage par renforcement que nanochat laisse de côté, et documente chacune.
Là où il fait la différence
Un étudiant en informatique qui découvre les modèles de langage
Voir ce que font réellement le pré-entraînement et le fine-tuning, pas seulement appeler une bibliothèque
Exécutez le pré-entraînement minimal plus le SFT sur une seule 3090, environ 2,31 heures et à peu près 3 CNY de temps GPU loué, puis lisez la boucle qui a produit le modèle de chat. Les poids publiés permettent aussi de sauter l'entraînement et d'inspecter un modèle terminé.
Un ingénieur ML qui apprend l'apprentissage par renforcement pour les LLM
Implémenter DPO et GRPO une fois sans qu'un framework les abstraie
Le dépôt implémente DPO, PPO, GRPO et CISPO de zéro en PyTorch avec les jeux de données correspondants, si bien que vous pouvez dérouler une exécution d'ajustement par préférences ou de RL agentique sur un modèle de 64M là où un modèle de taille réelle demanderait un cluster.
Un animateur d'atelier ou de cours
Donner aux participants une chaîne d'entraînement complète qu'ils peuvent exécuter sur leur portable ou un GPU cloud bon marché
Dirigez-les vers les données ouvertes et la configuration rapide ; un modèle de chat "Zero" complet s'entraîne de zéro en environ deux heures sur une carte, donc tout le monde finit dans une séance. Vérifiez les licences des données avant toute réutilisation commerciale.
Avant de vous engager
- Mise en route
- Clonez le dépôt, `pip install -r requirements.txt`, téléchargez le jeu de données depuis ModelScope ou Hugging Face dans `./dataset/`, puis lancez les scripts de pré-entraînement et de SFT ; un seul GPU de classe 3090 est supposé.
- Intégrations
- PyTorch pur avec compatibilité transformers, trl et peft ; export vers llama.cpp, vLLM et Ollama ; DDP et DeepSpeed pour plusieurs GPU ; journalisation avec wandb ou SwanLab ; un serveur d'API compatible OpenAI et une interface web Streamlit.
- Données et confidentialité
- Toutes les données d'entraînement sont publiées et s'exécutent en local sur votre propre machine ; rien n'est envoyé nulle part. Les sources sont des corpus publics et distillés, nettoyés et dédupliqués, sous licences mixtes, dont Apache 2.0 et CC-BY-NC.
- Coût à grande échelle
- Uniquement du temps GPU. L'exécution rapide coûte environ 3 CNY sur une 3090 louée ; la documentation estime autour de 50 CNY pour le modèle de 26M et environ 159 CNY pour celui de 0,1B sur toute la chaîne.
- Limites
- Un modèle de 64M sert à apprendre, pas à la production ; les scores aux tests de connaissances restent proches du hasard ; la documentation est la plus solide en chinois ; certains jeux de données sont non commerciaux.
Les points forts
- Chaque étape en PyTorch pur et lisible, du tokeniseur au RL
- Données et poids entraînés ouverts, pas seulement du code
- Exécute le pré-entraînement rapide sur un seul GPU de 24 Go
- Maintenu activement depuis 2024, avec des modèles dérivés
Les points faibles
- Le modèle de 64M obtient des scores proches du hasard sur les tests de connaissances
- "2 heures, 3 CNY" ne couvre que l'exécution minimale
- Le plus clair en chinois ; l'anglais est une traduction
- Certains jeux de données sont non commerciaux malgré le code Apache
Idéal pour
Ingénieurs et étudiants qui veulent comprendre toute la chaîne d'entraînement d'un LLM en exécutant eux-mêmes chaque étape sur un seul GPU.
Alternatives à MiniMind
MiniMind : questions fréquentes
- MiniMind vaut-il le coup ?
- MiniMind est la façon pratique la plus claire d'apprendre comment un modèle de langage s'entraîne, du tokeniseur à l'apprentissage par renforcement, sans cluster ni framework qui cache les rouages. Nous lui donnons 4.4 sur 5.
- Combien coûte MiniMind ?
- Gratuit et open source (Apache 2.0). Le seul coût est le temps GPU ; l'exécution rapide du README coûte environ 3 CNY de temps loué sur une 3090.
- Quels sont les inconvénients de MiniMind ?
- Le modèle de 64M obtient des scores proches du hasard sur les tests de connaissances; "2 heures, 3 CNY" ne couvre que l'exécution minimale; le plus clair en chinois ; l'anglais est une traduction; certains jeux de données sont non commerciaux malgré le code Apache.
- À qui s’adresse MiniMind ?
- Ingénieurs et étudiants qui veulent comprendre toute la chaîne d'entraînement d'un LLM en exécutant eux-mêmes chaque étape sur un seul GPU.
- Combien coûte MiniMind pour une équipe ou en production ?
- Uniquement du temps GPU. L'exécution rapide coûte environ 3 CNY sur une 3090 louée ; la documentation estime autour de 50 CNY pour le modèle de 26M et environ 159 CNY pour celui de 0,1B sur toute la chaîne.
- MiniMind est-il sûr pour les données de l’entreprise ?
- Toutes les données d'entraînement sont publiées et s'exécutent en local sur votre propre machine ; rien n'est envoyé nulle part. Les sources sont des corpus publics et distillés, nettoyés et dédupliqués, sous licences mixtes, dont Apache 2.0 et CC-BY-NC.
- Quelles sont les meilleures alternatives à MiniMind ?
- Les alternatives les plus proches que nous avons testées sont nanochat et Unsloth.
Réponses vérifiées le 14 nov. 2026.
Vous éditez MiniMind ? Affichez cette note sur votre site
