Was ist LLMs from Scratch?
LLMs from Scratch ist das Code-Repository zu Sebastian Raschkas Buch "Build a Large Language Model (From Scratch)" (Manning, September 2024, 368 Seiten). Seine Notebooks bauen Tokenisierung, Attention, ein Modell im Stil von GPT, Pretraining und Instruction Fine-Tuning in reinem PyTorch, ohne LLM-Bibliotheken.
Die Bonus-Ordner gehen weit über das Buch hinaus, mit Implementierungen von Grund auf für Llama 3.2, Qwen3 (dense und Mixture-of-Experts), Gemma 3, Olmo 3, Qwen3.5 und Gemma 4, dazu Präferenz-Tuning mit DPO und Evaluation über Ollama.
Der Code ist kostenlos unter Apache 2.0; das Buch kostet laut Liste 59,99 $ gedruckt oder 54,99 $ als E-Book. Das Repository hat keine getaggten Releases; der letzte Commit erfolgte am 2. Oktober 2026.
Lohnt sich LLMs from Scratch?
Das ist der klarste Weg von PyTorch-Kenntnissen zum Verständnis, wie ein Modell im Stil von GPT funktioniert, weil nichts hinter einem Bibliotheksaufruf versteckt ist. Mit rund 107.100 GitHub-Sternen ist es eines der meistverfolgten Lern-Repositories zu KI, und Raschka committet weiterhin Korrekturen, zuletzt am 2. Oktober 2026.
Das Bonusmaterial hält es zwei Jahre nach Erscheinen relevant. Eigenständige Notebooks bauen aktuelle offene Architekturen nach, darunter die Mixture-of-Experts-Schichten von Qwen3 und die Varianten E2B und E4B von Gemma 4. So sieht man genau, wo ein aktuelles Modell vom GPT-2-artigen Design abweicht, mit dem das Buch beginnt. Ein begleitender Videokurs von 17 Stunden und ein kostenloses Quiz-PDF mit 170 Seiten von Manning passen zu unterschiedlichen Arten zu lernen.
Seine Grenzen sind gewollt. Die Hauptkapitel sind so ausgelegt, dass sie auf einem gewöhnlichen Laptop laufen, die Modelle sind also klein, und das Pretraining ist eine Demonstration statt eines brauchbaren Assistenten. Es lehrt das Innenleben, nicht den Bau von Anwendungen: Zu Retrieval, Agenten oder Deployment gibt es nichts. Und obwohl die Notebooks für sich laufen, steckt die Begründung hinter jedem Schritt im bezahlten Buch.
Karpathys nanochat deckt ähnliches Terrain als einen durchgehenden Trainingslauf auf gemieteten GPUs ab und passt zu Lesern, die zusehen wollen, wie eine komplette Pipeline ein Chatmodell hervorbringt. Raschkas Version ist langsamer und näher an einem Lehrbuch, und das Nachfolge-Repository Reasoning From Scratch führt weiter zu Inference-Time Scaling, Reinforcement Learning und Distillation.
Wo es sich lohnt
Ein Backend-Entwickler, der in ein ML-Team wechselt
Attention, Tokenisierung und Fine-Tuning gut genug verstehen, um echte Modelle zu debuggen
Arbeite pro Woche ein Kapitel auf einem Laptop durch; das Instruction Fine-Tuning in Kapitel 7 und sein auf Ollama basierendes Evaluationsskript schließen den Kreis. Die Kosten sind das gedruckte Buch für 59,99 $ (bei Manning oft rabattiert) und Abende, keine Cloud-GPUs.
Eine Hochschuldozentin, die ein NLP-Modul leitet
Praktische Kursarbeit rund um einen funktionierenden Transformer aufbauen
Die Apache 2.0-Lizenz erlaubt es, die Notebooks in Kursmaterialien wiederzuverwenden, und das kostenlose Quiz-PDF von Manning mit 170 Seiten hat rund 30 Fragen pro Kapitel. Studierende ohne GPU können die Hauptkapitel trotzdem ausführen, die automatisch eine GPU nutzen, wenn eine vorhanden ist.
Ein ML-Engineer, der die Architektur eines neuen offenen Modells bewertet
Sehen, was sich in Qwen3 oder Gemma 4 geändert hat, ohne ein großes Framework zu lesen
Die eigenständigen Bonus-Notebooks implementieren jedes Modell in einer einzigen Datei, Unterschiede bei Attention, Normalisierung oder Expert-Routing sind also Zeile für Zeile sichtbar. Für die größeren Varianten mit vortrainierten Gewichten braucht es eine GPU mit genug Speicher dafür.
Bevor du dich festlegst
- Einrichtung
- Klone das Repository und installiere die Abhängigkeiten mit pip oder uv; die Einrichtungsanleitung deckt beides ab. Die Hauptkapitel brauchen keine spezielle Hardware und wechseln automatisch auf eine GPU, wenn eine vorhanden ist.
- Daten und Datenschutz
- Läuft lokal. Optionales Material in Kapitel 7 ruft die OpenAI-API oder einen lokalen Ollama-Server für Evaluation und Datensatzerzeugung auf; sonst verlässt nichts den Rechner. Der Code steht unter Apache 2.0 und erlaubt kommerzielle Wiederverwendung; der Buchtext ist urheberrechtlich geschützt.
- Kosten im großen Maßstab
- Der Code ist kostenlos und hat keine gehostete oder bezahlte Edition. Das Buch kostet bei Manning laut Liste 54,99 $ (E-Book) oder 59,99 $ (gedruckt mit E-Book), die Audioversion kostet zusätzlich 24,99 $, und der separate Videokurs wird von Manning verkauft.
- Grenzen
- Zum Zeitpunkt der Prüfung nur 4 offene Issues. Es gibt keine getaggten Releases, also verfolge die Commits; das Material lehrt das Innenleben im kleinen Maßstab und hört vor Training oder Serving in der Produktion auf.
Was gut ist
- Baut jede Komponente Schritt für Schritt in reinem PyTorch
- Die Hauptkapitel laufen auf einem gewöhnlichen Laptop
- Bonus-Notebooks zu Qwen3, Gemma 4 und Olmo 3
- Code unter Apache 2.0, in Kursen und Produkten wiederverwendbar
Was nicht
- Die Erklärungen stehen im bezahlten Buch
- Nichts zu RAG, Agenten oder Deployment
- Modelle im Laptop-Maßstab sind Demonstrationen, keine brauchbaren Assistenten
Am besten für
Entwickler und Studierende, die das Innenleben von LLMs verstehen wollen, indem sie eines bauen.
Alternativen zu LLMs from Scratch
LLMs from Scratch: häufige Fragen
- Lohnt sich LLMs from Scratch?
- Eine seltene Lernressource, die jede Zeile eines funktionierenden LLM lesbar macht und 2026 durch ihre Bonus-Notebooks aktuell bleibt. Wir bewerten es mit 4.7 von 5.
- Was kostet LLMs from Scratch?
- Der Code ist kostenlos unter der Apache 2.0-Lizenz; das Begleitbuch kostet laut Liste 54,99 $ (E-Book) oder 59,99 $ (gedruckt).
- Welche Nachteile hat LLMs from Scratch?
- Die Erklärungen stehen im bezahlten Buch; Nichts zu RAG, Agenten oder Deployment; Modelle im Laptop-Maßstab sind Demonstrationen, keine brauchbaren Assistenten.
- Für wen eignet sich LLMs from Scratch?
- Entwickler und Studierende, die das Innenleben von LLMs verstehen wollen, indem sie eines bauen.
- Was kostet LLMs from Scratch für ein Team oder im Produktivbetrieb?
- Der Code ist kostenlos und hat keine gehostete oder bezahlte Edition. Das Buch kostet bei Manning laut Liste 54,99 $ (E-Book) oder 59,99 $ (gedruckt mit E-Book), die Audioversion kostet zusätzlich 24,99 $, und der separate Videokurs wird von Manning verkauft.
- Ist LLMs from Scratch sicher für Firmendaten?
- Läuft lokal. Optionales Material in Kapitel 7 ruft die OpenAI-API oder einen lokalen Ollama-Server für Evaluation und Datensatzerzeugung auf; sonst verlässt nichts den Rechner. Der Code steht unter Apache 2.0 und erlaubt kommerzielle Wiederverwendung; der Buchtext ist urheberrechtlich geschützt.
- Was sind die besten Alternativen zu LLMs from Scratch?
- Die nächsten Alternativen, die wir getestet haben, sind nanochat und LLM Course.
Antworten geprüft am 23. Okt. 2026.