LLMs from Scratchとは？
LLMs from Scratchは、Sebastian Raschkaの著書『Build a Large Language Model (From Scratch)』（Manning、2024年9月、368ページ）のコードリポジトリです。付属のノートブックでは、LLMライブラリを使わず、純粋なPyTorchのみでtokenisation、attention、GPTスタ イルのモデル、pretraining、instruction fine-tuningを構築します。
ボーナスフォルダには書籍の範囲を大きく超える内容が含まれており、Llama 3.2、Qwen3（denseおよびmixture-of-experts）、Gemma 3、Olmo 3、Qwen3.5、Gemma 4のスクラッチ実装に加え、DPOによるpreference tuningやOllamaを通じた評価も収録されています。
コードはApache 2.0の下で無料提供されています。書籍の定価は印刷版が59.99ドル、ebook版が54.99ドルです。リポジトリにタグ付きリリースはなく、最新のコミットは2026年10月2日に行われました。
LLMs from Scratchは使う価値があるか？
ライブラリ呼び出しの背後に何も隠されていないため、PyTorchの基礎知識からGPTスタイルのモデルが動作する仕組みを理解するための最も明確な道筋となっています。GitHubのstar数は約107,100件に達し、最も多くの支持を集めるAI学習リポジトリの1つです。Raschka氏は現在も修正のコミットを続けており、直近では2026年10月2日に行われました。
出版から2年が経過しても有用性を保ち続けている理由は、ボーナス教材にあります。独立したノートブックにより、Qwen3のmixture-of-experts層やGemma 4のE2BおよびE4Bバリアントなど、最近のオープンアーキテクチャが再構築されています。これにより、読者は書籍で最初に取り上げるGPT-2スタイルの設計から現在のモデルがどのように変化したかを正確に確認できます。17時間の動画コースや、Manningから提供される170ページの無料クイズPDFも用意されており、多様な学習形態に対応しています。
制約事項は意図的に設けられています。主要な章は一般的なノートPCで動作するように設計されているため、モデル規模は小さく、pretrainingは実用的なアシスタントの作成というよりも実演の位置づけです。教示されるのは内部構造であり、アプリケーション構築ではありません。retrieval、agent、deploymentに関する内容は含まれていません。また、ノートブック自体は単体で動作しますが、各ステップの背後にある理論的根拠は有料の書籍内に記載されています。
Karpathy氏のnanochatは、レンタルGPU上でのエンドツーエンドのトレーニング実行という類似の範囲を扱っており、完全なパイプラインからチャットモデルが生成される過程を確認したい読者に適しています。Raschka氏の手法はより緩やかで教科書に近く、続編リポジトリであるReasoning From Scratchでは、inference-time scaling、reinforcement learning、distillationへと内容が発展しています。
真価を発揮する場面
MLチームへ異動するバックエンド開発者
実モデルのデバッグができる水準までattention、tokenisation、fine-tuningを理解すること
ノートPCを用いて1週間に1章ずつ進めます。第7章のinstruction fine-tuningとOllamaベースの評価スクリプトにより一連の工程が完結します。必要な費用は59.99ドルの印刷本（Manningで頻繁に割引されます）と夜間の作業時間のみであり、クラウドGPUの費用はかかりません。
NLP講座を担当する大学講師
動作するtransformerを中心とした実践的な課題を作成すること
Apache 2.0ライセンスによりノートブックを教材へ再利用可能です。また、Manningの無料の170ページクイズPDFには各章約30問の問題が収録されています。GPUを持たない学生でも主要な章を実行でき、GPUが存在する場合は自動的に使用されます。
新しいオープンモデルのアーキテクチャを評価するMLエンジニア
大規模なフレームワークを読むことなくQwen3やGemma 4の変更点を把握すること
独立したボーナスノートブックは各モデルを単一ファイルで実装しているため、attention、normalisation、expert routingの違いをコード行単位で確認できます。事前学習済み重みを用いた大規模バリアントの実行には、それらを保持するのに十分なメモリを持つGPUが必要です。
導入前に確認すること
- 導入
- リポジトリをcloneし、pipまたはuvでrequirementsをインストールします。セットアップガイドには両方の手順が記載されています。主要な章では専用のハードウェアは不要であり、GPUが存在する場合は自動的に切り替わります。
- データとプライバシー
- ローカル環境で動作します。第7章のオプション教材では、評価とデータセット生成のためにOpenAI APIまたはローカルのOllamaサーバーを呼び出しますが、それ以外のデータがマシン外へ送信されることはありません。コードはApache 2.0であり商用利用が認められていますが、書籍本文には著作権が適用されます。
- 大規模利用時のコスト
- コードは無料であり、ホスト版や有料版はありません。書籍の定価はManningで54.99ドル（ebook）または59.99ドル（ebook付き印刷版）であり、音声版は24.99ドルで追加でき、個別の動画コースはManningから販売されています。
- 制限
- 確認時点での未解決のissueは4件のみでした。タグ付きリリースは存在しないためコミット履歴を追跡する必要があります。教材は小規模な内部構造の学習を目的としており、本番環境でのトレーニングやサービングは対象外です。
良い点
- 純粋なPyTorchのみですべてのコンポーネントを段階的に構築します
- 主要な章は一般的なノートPCで実行可能です
- Qwen3、Gemma 4、Olmo 3に関するボーナスノートブックが付属します
- Apache 2.0コードのため講義や製品で再利用できます
気になる点
- 詳細な解説は有料書籍に記載されています
- RAG、agent、deploymentに関する内容はありません
- ノートPC規模のモデルは実演用であり、実用的なアシスタントではありません
おすすめの人
モデルを自作することでLLMの内部構造を理解したい開発者や学生に適しています。
LLMs from Scratchの代替
LLMs from Scratch：よくある質問
- LLMs from Scratchは使う価値があるか？
- 動作するLLMの全コード行を明瞭に理解できる貴重な学習リソースであり、ボーナスノートブックによって2026年時点でも最新の内容に保たれています。 評価は5点満点中4.7点です。
- LLMs from Scratchの料金は？
- コードはApache 2.0ライセンスの下で無料です。解説本は54.99ドル（ebook）または59.99ドル（印刷版）で販売されています。
- LLMs from Scratchの欠点は？
- 詳細な解説は有料書籍に記載されています; RAG、agent、deploymentに関する内容はありません; ノートPC規模のモデルは実演用であり、実用的なアシスタントではありません.
- LLMs from Scratchは誰に向いているか？
- モデルを自作することでLLMの内部構造を理解したい開発者や学生に適しています。
- チームや本番環境でLLMs from Scratchを使うと費用はいくらか？
- コードは無料であり、ホスト版や有料版はありません。書籍の定価はManningで54.99ドル（ebook）または59.99ドル（ebook付き印刷版）であり、音声版は24.99ドルで追加でき、個別の動画コースはManningから販売されています。
- LLMs from Scratchは企業データを扱っても安全か？
- ローカル環境で動作します。第7章のオプション教材では、評価とデータセット生 成のためにOpenAI APIまたはローカルのOllamaサーバーを呼び出しますが、それ以外のデータがマシン外へ送信されることはありません。コードはApache 2.0であり商用利用が認められていますが、書籍本文には著作権が適用されます。
- LLMs from Scratchの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はnanochat 、 LLM Courseです。
回答確認日：2026年10月23日