LLMs from Scratch의 개요
LLMs from Scratch는 Sebastian Raschka의 책 "Build a Large Language Model (From Scratch)"(Manning, 2024년 9월, 368쪽)의 코드 저장소입니다. 노트북은 LLM 라이브러리 없이 순수 PyTorch로 토큰화, 어텐션, GPT 방식 모델, 사전 학습, 지시 파인튜닝을 구현합니다.
보너스 폴더는 책의 범위를 훨씬 넘어섭니다. Llama 3.2, Qwen3(dense와 mixture-of-experts), Gemma 3, Olmo 3, Qwen3.5, Gemma 4를 처음부터 구현하고, DPO를 쓴 선호도 튜닝과 Ollama를 통한 평가도 담았습니다.
코드는 Apache 2.0으로 무료이고, 책의 정가는 종이책 $59.99, 전자책 $54.99입니다. 저장소에는 태그 릴리스가 없으며, 마지막 커밋은 2026년 10월 2일이었습니다.
LLMs from Scratch, 쓸 만한 가치가 있습니까?
PyTorch를 아는 단계에서 GPT 방식 모델의 작동 원리를 이해하는 단계로 가는 가장 명확한 길입니다. 라이브러리 호출 뒤에 숨긴 것이 없기 때문입니다. GitHub 스타 약 107,100개로 가장 많이 팔로우되는 AI 학습 저장소 가운데 하나이며, Raschka는 여전히 수정 사항을 커밋하고 있고 가장 최근 커밋은 2026년 10월 2일입니다.
출간 2년이 지나도 의미가 있는 이유는 보너스 자료입니다. 독립된 노트북들이 Qwen3의 mixture-of-experts 계층과 Gemma 4의 E2B 및 E4B 변형을 포함한 최근 오픈 아키텍처를 다시 구현하므로, 독자는 현재 모델이 책이 출발점으로 삼는 GPT-2 방식 설계와 정확히 어떻게 다른지 볼 수 있습니다. 17시간짜리 동영상 강의와 Manning의 무료 170쪽 퀴즈 PDF는 서로 다른 학습 방식에 맞습니다.
한계는 의도된 것입니다. 본 장들은 평범한 노트북에서 돌아가도록 설계되어 모델이 작고, 사전 학습은 쓸 만한 어시스턴트가 아니라 시연입니다. 애플리케이션 구축이 아니라 내부 구조를 가르치므로 검색, 에이전트, 배포는 다루지 않습니다. 또한 노트북은 단독으로 실행되지만 각 단계의 논리는 유료 책에 담겨 있습니다.
Karpathy의 nanochat은 비슷한 내용을 빌린 GPU에서 처음부터 끝까지 이어지는 한 번의 학습 실행으로 다루며, 전체 파이프라인이 채팅 모델을 만들어 내는 과정을 보고 싶은 독자에게 맞습니다. Raschka의 버전은 더 느리고 교과서에 가까우며, 후속 저장소 Reasoning From Scratch가 추론 시점 확장, 강화 학습, 증류로 이어집니다.
제 역할을 하는 곳
ML팀으로 옮기는 백엔드 개발자
실제 모델을 디버깅할 수 있을 만큼 어텐션, 토큰화, 파인튜닝 이해하기
노트북으로 일주일에 한 장씩 공부합니다. 7장의 지시 파인튜닝과 Ollama 기반 평가 스크립트가 전체 과정을 마무리합니다. 비용은 클라우드 GPU가 아니라 $59.99짜리 종이책(Manning에서 자주 할인)과 저녁 시간입니다.
NLP 과목을 운영하는 대학 강사
동작하는 트랜스포머를 중심으로 실습 과제 만들기
Apache 2.0 라이선스라 노트북을 강의 자료에 재사용할 수 있고, Manning의 무료 170쪽 퀴즈 PDF에는 장마다 약 30문항이 있습니다. GPU가 없는 학생도 본 장들을 실행할 수 있으며, GPU가 있으면 자동으로 사용합니다.
새 오픈 모델의 아키텍처를 평가하는 ML 엔지니어
큰 프레임워크를 읽지 않고 Qwen3나 Gemma 4에서 바뀐 점 파악하기
독립된 보너스 노트북은 각 모델을 파일 하나로 구현하므로 어텐션, 정규화, 전문가 라우팅의 차이를 줄 단위로 볼 수 있습니다. 사전 학습된 가중치로 큰 변형을 돌리려면 이를 담을 메모리가 충분한 GPU가 필요합니다.
도입 전 확인할 점
- 설정
- 저장소를 클론하고 pip나 uv로 요구 사항을 설치합니다. 설정 가이드는 두 방법을 모두 다룹니다. 본 장들은 특수 하드웨어가 필요 없고, GPU가 있으면 자동으로 전환합니다.
- 데이터와 개인정보
- 로컬에서 실행됩니다. 7장의 선택 자료는 평가와 데이터셋 생성을 위해 OpenAI API나 로컬 Ollama 서버를 호출하며, 그 밖에는 아무것도 머신 밖으로 나가지 않습니다. 코드는 Apache 2.0으로 상업적 재사용이 가능하고, 책 본문은 저작권 보호를 받습니다.
- 대규모 사용 시 비용
- 코드는 무료이며 호스팅이나 유료 에디션이 없습니다. 책은 Manning에서 $54.99(전자책) 또는 $59.99(전자책 포함 종이책)이고, 오디오는 $24.99가 추가되며, 별도의 동영상 강의는 Manning이 판매합니다.
- 제한
- 확인 시점에 열린 이슈는 4개뿐입니다. 태그 릴리스가 없으므로 커밋을 추적해야 합니다. 자료는 작은 규모에서 내부 구조를 가르치며, 운영 수준의 학습이나 서빙까지는 다루지 않습니다.
좋은 점
- 순수 PyTorch로 모든 구성 요소를 단계별로 구현
- 본 장들은 평범한 노트북에서 실행
- Qwen3, Gemma 4, Olmo 3에 대한 보너스 노트북
- 강의와 제품에 재사용할 수 있는 Apache 2.0 코드
아쉬운 점
- 설명은 유료 책에 있음
- RAG, 에이전트, 배포는 다루지 않음
- 노트북 규모의 모델은 시연용이며 쓸 만한 어시스턴트가 아님
추천 대상
직접 만들어 보며 LLM 내부 구조를 이해하고 싶은 개발자와 학생.
LLMs from Scratch 대안
LLMs from Scratch: 자주 묻는 질문
- LLMs from Scratch, 쓸 만한 가치가 있습니까?
- 동작하는 LLM의 모든 줄을 읽을 수 있게 해 주는 드문 학습 자료이며, 보너스 노트북 덕분에 2026년에도 최신 상태를 유지합니다. 평점은 5점 만점에 4.7점입니다.
- LLMs from Scratch의 가격은 얼마입니까?
- 코드는 Apache 2.0 라이선스로 무료이며, 함께 보는 책의 정가는 $54.99(전자책) 또는 $59.99(종이책)입니다.
- LLMs from Scratch 의 단점은 무엇입니까?
- 설명은 유료 책에 있음; RAG, 에이전트, 배포는 다루지 않음; 노트북 규모의 모델은 시연용이며 쓸 만한 어시스턴트가 아님.
- LLMs from Scratch에 적합한 사람은 누구입니까?
- 직접 만들어 보며 LLM 내부 구조를 이해하고 싶은 개발자와 학생.
- 팀이나 프로덕션 환경에서 LLMs from Scratch의 비용은 얼마입니까?
- 코드는 무료이며 호스팅이나 유료 에디션이 없습니다. 책은 Manning에서 $54.99(전자책) 또는 $59.99(전자책 포함 종이책)이고, 오디오는 $24.99가 추가되며, 별도의 동영상 강의는 Manning이 판매합니다.
- LLMs from Scratch에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. 7장의 선택 자료는 평가와 데이터셋 생성을 위해 OpenAI API나 로컬 Ollama 서버를 호출하며, 그 밖에는 아무것도 머신 밖으로 나가지 않습니다. 코드는 Apache 2.0으로 상업적 재사용이 가능하고, 책 본문은 저작권 보호를 받습니다.
- LLMs from Scratch의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 nanochat 및 LLM Course입니다.
답변 확인일: 2026년 10월 23일.
LLMs from Scratch 개발사입니까? 이 평점을 사이트에 표시하십시오
