MiniMind의 개요
MiniMind는 작은 언어 모델을 처음부터 끝까지 만드는 교육용 프로젝트입니다. GPU 한 장에서 전체 파이프라인을 거칩니다. 자체 BPE 토크나이저, 사전 학습, 지도 미세조정, LoRA, 선호 조정(DPO), 강화 학습(PPO, GRPO, CISPO), 도구 사용, 증류까지 각 단계가 프레임워크 래퍼를 거치지 않고 PyTorch로 직접 작성되어 있습니다.
메인 브랜치의 가장 작은 모델 minimind-3는 약 64M 파라미터로, GPT-3의 약 2,700분의 1 크기입니다. Jingyao Gong이 2024년부터 유지해 왔고, 2026년 4월 재작성으로 구조를 Qwen3와 Qwen3-MoE 계열에 맞추고 에이전트형 강화 학습 스크립트를 추가했습니다. 파생으로는 비전(MiniMind-V), 임의-대-임의(MiniMind-O), 확산형 언어 모델, 선형 어텐션 변형이 있습니다. 코드, 데이터, 학습된 가중치가 모두 공개되어 있습니다.
MiniMind, 쓸 만한 가치가 있습니까?
가치는 결과 모델이 아니라 읽기에 있습니다. 각 단계가 순수 PyTorch로 적혀 있고 데이터와 학습된 가중치도 함께 공개되어 있어, 토크나이저, 사전 학습 루프, SFT, DPO, GRPO를 한 줄씩 따라가며 각각을 카드 한 장에서 실행할 수 있습니다. 대부분의 튜토리얼이 남겨 두는 빈틈이 바로 이것입니다. 기존 모델을 `transformers` 열몇 줄로 미세조정할 뿐 그 아래 루프는 결코 보여 주지 않습니다.
대표 주장은 들리는 것보다 좁습니다. "2시간, 3 CNY"라는 숫자는 시간당 약 1.3 CNY에 대여한 NVIDIA 3090에서 사전 학습에 SFT를 더한 최소 실행을 1에폭 돌린 값이지, 전체 학습이 아닙니다. 문서의 더 완전한 실행은 훨씬 오래 걸리고, 64M 모델은 지식 벤치마크에서 거의 찍기 수준입니다. C-Eval 24.89, ARC-Easy 28.49로, 더 큰 SmolLM2-135M이나 TinyLlama가 여유 있게 넘는 정도입니다. 프로젝트는 이 크기의 모델이 학습용이지 실사용용이 아니라고 솔직히 밝힙니다.
또한 한 번으로 끝난 것이 아니라 실제로 유지됩니다. 스타 65,230개, 2026년 10월 하순까지의 커밋, lm-eval을 통한 제3자 벤치마크 지원이 있습니다. 다만 파생의 "처음부터"는 작은 글씨를 읽으십시오. MiniMind-V는 0에서 시작하는 대신 베이스 모델의 가중치에서 이어 갑니다.
주의할 점: 설명은 중국어가 가장 명료하고 영어 README는 번역이며, 코드는 Apache 2.0이지만 일부 벤치마크 데이터셋과 합성 SFT 데이터 일부는 비상업 라이선스를 달고 있고, GPU가 필요합니다. 3090급이 전제이며 빠른 실행은 24 GB에 맞춰져 있습니다.
결론: nanochat은 같은 교훈을 스크립트 하나로 가르칩니다. MiniMind는 그것을 학습 메뉴 전체에 펼치고, nanochat이 빼는 강화 학습 단계까지 포함해 각 단계를 문서화합니다.
제 역할을 하는 곳
언어 모델을 막 접한 컴퓨터공학 전공 학생
라이브러리를 호출하는 것 말고 사전 학습과 미세조정이 실제로 무엇을 하는지 보기
최소 사전 학습에 SFT를 더해 3090 한 장에서 실행합니다. 약 2.31시간, 대여 GPU 시간으로 약 3 CNY가 들고, 그다음 채팅 모델을 만든 루프를 읽습니다. 공개된 가중치로 학습을 건너뛰고 완성된 모델을 들여다볼 수도 있습니다.
LLM용 강화 학습을 배우는 ML 엔지니어
프레임워크가 감추지 않은 상태로 DPO와 GRPO를 한 번 구현하기
저장소는 DPO, PPO, GRPO, CISPO를 해당 데이터셋과 함께 PyTorch로 처음부터 구현해, 실제 크기 모델이라면 클러스터가 필요할 일을 64M 모델에서 선호 조정이나 에이전트형 RL 실행으로 짚어 갈 수 있습니다.
워크숍이 나 강좌 강사
참가자가 각자의 노트북이나 저렴한 클라우드 GPU에서 실행할 수 있는 완전한 학습 파이프라인 제공하기
공개 데이터와 빠른 설정으로 안내하십시오. 완전한 "Zero" 채팅 모델은 카드 한 장에서 약 두 시간 만에 처음부터 학습되므로 모두가 한 세션에 끝냅니다. 상업적 재사용 전에 데이터셋 라이선스를 확인하십시오.
도입 전 확인할 점
- 설정
- 저장소를 클론하고 `pip install -r requirements.txt`를 실행한 뒤, ModelScope나 Hugging Face에서 데이터셋을 `./dataset/`로 내려받고 사전 학습과 SFT 스크립트를 실행합니다. 3090급 GPU 한 장이 전제입니다.
- 연동
- 순수 PyTorch로 transformers, trl, peft와 호환되며 llama.cpp, vLLM, Ollama로 내보낼 수 있습니다. 다중 GPU에는 DDP와 DeepSpeed, 로깅에는 wandb나 SwanLab, 그리고 OpenAI 호환 API 서버와 Streamlit 웹 UI가 있습니다.
- 데이터와 개인정보
- 모든 학습 데이터가 공개되어 있고 사용자 기기에서 로컬로 실행되며, 아무것도 외부로 보내지 않습니다. 출처는 정제와 중복 제거를 거친 공개 코퍼스와 증류 코퍼스로, Apache 2.0과 CC-BY-NC를 포함한 혼합 라이선스입니다.
- 대규모 사용 시 비용
- GPU 시간만 듭니다. 빠른 실행은 대여한 3090에서 약 3 CNY이며, 문서는 전체 파이프라인에서 26M 모델에 약 50 CNY, 0.1B 모델에 약 159 CNY로 추산합니다.
- 제한
- 64M 모델은 학습용이지 운영용이 아니며, 지식 벤치마크 점수는 거의 찍기 수준이고, 문서는 중국어가 가장 충실하며, 일부 데이터셋은 비상업용입니다.
좋은 점
- 토크나이저부터 RL까지 각 단계가 읽을 수 있는 순수 PyTorch
- 코드뿐 아니라 공개된 데이터와 학습된 가중치
- 24 GB GPU 한 장으로 빠른 사전 학습 실행
- 2024년부터 활발히 유지되며 파생 모델도 있음
아쉬운 점
- 64M 모델은 지식 벤치마크에서 거의 찍기 수준
- "2시간, 3 CNY"는 최소 실행만 포함
- 가장 명료한 것은 중국어이고 영어는 번역
- 코드는 Apache이지만 일부 데이터셋은 비상업용
추천 대상
LLM 학습 파이프라인 전체를 GPU 한 장에서 각 단계를 직접 실행하며 이해하고 싶은 엔지니어와 학생에게 맞습니다.
MiniMind 대안
MiniMind: 자주 묻는 질문
- MiniMind, 쓸 만한 가치가 있습니까?
- MiniMind는 토크나이저부터 강화 학습까지 언어 모델이 어떻게 학습되는지 배우는 가장 명료한 실습 방법으로, 클러스터도, 부품을 가리는 프레임워크도 필요 없습니다. 평점은 5점 만점 에 4.4점입니다.
- MiniMind의 가격은 얼마입니까?
- 무료 오픈 소스(Apache 2.0)입니다. 드는 비용은 GPU 시간뿐이며, README의 빠른 실행은 대여한 3090 시간으로 약 3 CNY입니다.
- MiniMind의 단점은 무엇입니까?
- 64M 모델은 지식 벤치마크에서 거의 찍기 수준; "2시간, 3 CNY"는 최소 실행만 포함; 가장 명료한 것은 중국어이고 영어는 번역; 코드는 Apache이지만 일부 데이터셋은 비상업용.
- MiniMind에 적합한 사람은 누구입니까?
- LLM 학습 파이프라인 전체를 GPU 한 장에서 각 단계를 직접 실행하며 이해하고 싶은 엔지니어와 학생에게 맞습니다.
- 팀이나 프로덕션 환경에서 MiniMind의 비용은 얼마입니까?
- GPU 시간만 듭니다. 빠른 실행은 대여한 3090에서 약 3 CNY이며, 문서는 전체 파이프라인에서 26M 모델에 약 50 CNY, 0.1B 모델에 약 159 CNY로 추산합니다.
- MiniMind에 회사 데이터를 맡겨도 안전합니까?
- 모든 학습 데이터가 공개되어 있고 사용자 기기에서 로컬로 실행되며, 아무것도 외부로 보내지 않습니다. 출처는 정제와 중복 제거를 거친 공개 코퍼스와 증류 코퍼스로, Apache 2.0과 CC-BY-NC를 포함한 혼합 라이선스입니다.
- MiniMind의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안 은 nanochat 및 Unsloth입니다.
답변 확인일: 2026년 11월 14일.
MiniMind 개발사입니까? 이 평점을 사이트에 표시하십시오
