¿Qué es MiniMind?
MiniMind es un proyecto didáctico para construir un modelo de lenguaje pequeño de principio a fin. Recorre toda la canalización en una sola GPU: un tokenizador BPE propio, preentrenamiento, ajuste supervisado, LoRA, ajuste por preferencias (DPO), aprendizaje por refuerzo (PPO, GRPO, CISPO), uso de herramientas y destilación, cada etapa escrita directamente en PyTorch en lugar de llamarse a través de un envoltorio de framework.
El modelo más pequeño de la rama principal, minimind-3, tiene unos 64M de parámetros, aproximadamente 1/2.700 del tamaño de GPT-3. Jingyao Gong lo mantiene desde 2024, y la reescritura de abril de 2026 alineó la arquitectura con las familias Qwen3 y Qwen3-MoE y añadió un script de aprendizaje por refuerzo agéntico. Las derivaciones cubren visión (MiniMind-V), cualquiera a cualquiera (MiniMind-O), un modelo de lenguaje por difusión y una variante de atención lineal. El código, los datos y los pesos entrenados son todos abiertos.
¿Merece la pena MiniMind?
El valor está en la lectura, no en el modelo resultante. Como cada etapa está escrita en PyTorch puro, con los datos y los pesos entrenados publicados al lado, puedes seguir un tokenizador, un bucle de preentrenamiento, SFT, DPO y GRPO línea a línea y ejecutar cada uno en una sola tarjeta. Ese es el hueco que la mayoría de los tutoriales deja abierto: ajustan un modelo existente en una docena de líneas de `transformers` y nunca muestran el bucle que hay debajo.
La afirmación del titular es más estrecha de lo que parece. La cifra de "2 horas, 3 CNY" es una época de la ejecución mínima de preentrenamiento más SFT en una NVIDIA 3090 alquilada a unos 1,3 CNY la hora, no un entrenamiento completo. Las ejecuciones más completas de la documentación tardan mucho más, y el modelo de 64M puntúa cerca del azar en pruebas de conocimiento: 24,89 en C-Eval y 28,49 en ARC-Easy, cerca de lo que un SmolLM2-135M o un TinyLlama mayores superan con holgura. El proyecto es honesto en que un modelo de este tamaño es para aprender, no para usar.
Además está de verdad mantenido, no es algo de una sola vez: 65.230 estrellas, commits hasta finales de octubre de 2026 y soporte de pruebas de terceros a través de lm-eval. Lee la letra pequeña del "desde cero" en las derivaciones, eso sí; MiniMind-V continúa desde los pesos del modelo base en lugar de partir de cero.
La pega: la redacción es más clara en chino y el README en inglés es una traducción, algunos conjuntos de datos de prueba y partes de los datos sintéticos de SFT llevan una licencia no comercial aunque el código sea Apache 2.0, y necesitas una GPU. Se da por supuesta una 3090 o similar; la ejecución rápida está ajustada para 24 GB.
Nuestra opinión: nanochat enseña la misma lección en un solo script; MiniMind la reparte por todo el menú de entrenamiento, incluidas las etapas de aprendizaje por refuerzo que nanochat deja fuera, y documenta cada una.
Dónde se gana su sitio
Un estudiante de informática que empieza con los modelos de lenguaje
Ver qué hacen de verdad el preentrenamiento y el ajuste, no solo llamar a una librería
Ejecuta el preentrenamiento mínimo más SFT en una sola 3090, unas 2,31 horas y alrededor de 3 CNY de tiempo de GPU alquilado, y luego lee el bucle que produjo el modelo de chat. Los pesos publicados también te dejan saltarte el entrenamiento e inspeccionar un modelo terminado.
Un ingeniero de ML que aprende aprendizaje por refuerzo para LLM
Implementar DPO y GRPO una vez sin un framework que los abstraiga
El repositorio implementa DPO, PPO, GRPO y CISPO desde cero en PyTorch con los conjuntos de datos correspondientes, así que puedes recorrer una ejecución de ajuste por preferencias o de RL agéntico en un modelo de 64M donde uno de tamaño completo necesitaría un clúster.
Un instructor de un taller o un curso
Dar a los asistentes una canalización de entrenamiento completa que puedan ejecutar en sus portátiles o en una GPU en la nube barata
Apúntalos a los datos abiertos y a la configuración rápida; un modelo de chat "Zero" completo se entrena desde cero en unas dos horas en una tarjeta, así que todos terminan en una sesión. Revisa las licencias de los datos antes de cualquier reutilización comercial.
Antes de decidirte
- Puesta en marcha
- Clona el repositorio, `pip install -r requirements.txt`, descarga el conjunto de datos de ModelScope o Hugging Face en `./dataset/` y luego ejecuta los scripts de preentrenamiento y SFT; se da por supuesta una sola GPU del tipo 3090.
- Integraciones
- PyTorch puro con compatibilidad con transformers, trl y peft; exportación a llama.cpp, vLLM y Ollama; DDP y DeepSpeed para varias GPU; registro con wandb o SwanLab; un servidor de API compatible con OpenAI y una interfaz web en Streamlit.
- Datos y privacidad
- Todos los datos de entrenamiento están publicados y se ejecutan en local en tu propia máquina; no se envía nada a ningún sitio. Las fuentes son corpus públicos y destilados, limpiados y deduplicados, con licencias mixtas, incluidas Apache 2.0 y CC-BY-NC.
- Coste a escala
- Solo tiempo de GPU. La ejecución rápida cuesta unos 3 CNY en una 3090 alquilada; la documentación estima alrededor de 50 CNY para el modelo de 26M y unos 159 CNY para el de 0,1B en toda la canalización.
- Límites
- Un modelo de 64M es para aprender, no para producción; las puntuaciones en pruebas de conocimiento quedan cerca del azar; la documentación es más sólida en chino; algunos conjuntos de datos son no comerciales.
Lo bueno
- Cada etapa en PyTorch puro y legible, del tokenizador al RL
- Datos y pesos entrenados abiertos, no solo código
- Ejecuta el preentrenamiento rápido en una sola GPU de 24 GB
- Mantenido activamente desde 2024, con modelos derivados
Lo malo
- El modelo de 64M puntúa cerca del azar en pruebas de conocimiento
- "2 horas, 3 CNY" cubre solo la ejecución mínima
- Más claro en chino; el inglés es una traducción
- Algunos conjuntos de datos son no comerciales pese al código Apache
Ideal para
Ingenieros y estudiantes que quieren entender toda la canalización de entrenamiento de un LLM ejecutando cada etapa por sí mismos en una sola GPU.
Alternativas a MiniMind
MiniMind: preguntas frecuentes
- ¿Merece la pena MiniMind?
- MiniMind es la forma práctica más clara de aprender cómo se entrena un modelo de lenguaje, del tokenizador al aprendizaje por refuerzo, sin un clúster ni un framework que esconda las piezas. Le damos un 4.4 sobre 5.
- ¿Cuánto cuesta MiniMind?
- Gratuito y de código abierto (Apache 2.0). El único coste es el tiempo de GPU; la ejecución rápida del README cuesta unos 3 CNY de tiempo alquilado en una 3090.
- ¿Qué inconvenientes tiene MiniMind?
- El modelo de 64M puntúa cerca del azar en pruebas de conocimiento; "2 horas, 3 CNY" cubre solo la ejecución mínima; más claro en chino; el inglés es una traducción; algunos conjuntos de datos son no comerciales pese al código Apache.
- ¿Para quién es MiniMind?
- Ingenieros y estudiantes que quieren entender toda la canalización de entrenamiento de un LLM ejecutando cada etapa por sí mismos en una sola GPU.
- ¿Cuánto cuesta MiniMind para un equipo o en producción?
- Solo tiempo de GPU. La ejecución rápida cuesta unos 3 CNY en una 3090 alquilada; la documentación estima alrededor de 50 CNY para el modelo de 26M y unos 159 CNY para el de 0,1B en toda la canalización.
- ¿Es MiniMind seguro para los datos de la empresa?
- Todos los datos de entrenamiento están publicados y se ejecutan en local en tu propia máquina; no se envía nada a ningún sitio. Las fuentes son corpus públicos y destilados, limpiados y deduplicados, con licencias mixtas, incluidas Apache 2.0 y CC-BY-NC.
- ¿Cuáles son las mejores alternativas a MiniMind?
- Las alternativas más cercanas que hemos analizado son nanochat y Unsloth.
Respuestas comprobadas el 14 nov 2026.
¿Desarrollas MiniMind? Muestra esta nota en tu web
