Qu’est-ce que LLMs from Scratch ?
LLMs from Scratch est le dépôt de code du livre de Sebastian Raschka « Build a Large Language Model (From Scratch) » (Manning, septembre 2024, 368 pages). Ses notebooks construisent la tokenisation, l'attention, un modèle de style GPT, le pré-entraînement et le fine-tuning par instructions en PyTorch pur, sans bibliothèques LLM.
Des dossiers bonus vont bien au-delà du livre, avec des implémentations de zéro de Llama 3.2, Qwen3 (dense et à mélange d'experts), Gemma 3, Olmo 3, Qwen3.5 et Gemma 4, plus le réglage par préférence avec DPO et l'évaluation via Ollama.
Le code est gratuit sous Apache 2.0 ; le livre est à 59,99 $ en version imprimée ou 54,99 $ en ebook. Le dépôt n'a pas de versions taguées ; le dernier commit était le 2 octobre 2026.
LLMs from Scratch vaut-il le coup ?
C'est la route la plus claire de la connaissance de PyTorch à la compréhension du fonctionnement d'un modèle de style GPT, parce que rien n'est caché derrière un appel de bibliothèque. Avec environ 107 100 étoiles GitHub, c'est l'un des dépôts d'apprentissage IA les plus suivis, et Raschka committe encore des correctifs, le dernier le 2 octobre 2026.
Le matériel bonus est ce qui le garde pertinent deux ans après la publication. Des notebooks autonomes reconstruisent des architectures ouvertes récentes, dont les couches à mélange d'experts de Qwen3 et les variantes E2B et E4B de Gemma 4, si bien qu'un lecteur peut voir exactement en quoi un modèle actuel s'écarte de la conception de style GPT-2 par laquelle le livre commence. Un cours vidéo compagnon de 17 heures et un PDF de quiz gratuit de 170 pages de Manning conviennent à différentes façons d'apprendre.
Ses limites sont délibérées. Les chapitres principaux sont conçus pour tourner sur un portable ordinaire, si bien que les modèles sont petits et le pré-entraînement est une démonstration plutôt qu'un assistant utilisable. Il enseigne les rouages, pas la construction d'applications : il n'y a rien sur la récupération, les agents ou le déploiement. Et bien que les notebooks tournent seuls, le raisonnement derrière chaque étape vit dans le livre payant.
nanochat de Karpathy couvre un terrain similaire comme une seule exécution d'entraînement de bout en bout sur des GPU loués, et convient aux lecteurs qui veulent regarder un pipeline complet produire un modèle de chat. La version de Raschka est plus lente et plus proche d'un manuel, et son dépôt séquelle, Reasoning From Scratch, continue dans la mise à l'échelle au moment de l'inférence, l'apprentissage par renforcement et la distillation.
Là où il fait la différence
Un développeur backend qui passe à une équipe ML
Comprendre l'attention, la tokenisation et le fine-tuning assez bien pour déboguer de vrais modèles
Travaillez un chapitre par semaine sur un portable ; le fine-tuning par instructions du chapitre 7 et son script d'évaluation basé sur Ollama bouclent la boucle. Le coût est le livre imprimé à 59,99 $ (souvent en promotion chez Manning) et des soirées, pas des GPU cloud.
Un enseignant universitaire qui donne un module NLP
Construire des travaux pratiques autour d'un transformeur fonctionnel
La licence Apache 2.0 autorise la réutilisation des notebooks dans le matériel de cours, et le PDF de quiz gratuit de 170 pages de Manning a environ 30 questions par chapitre. Les étudiants sans GPU peuvent encore faire tourner les chapitres principaux, qui utilisent un GPU automatiquement quand un est présent.
Un ingénieur ML qui évalue l'architecture d'un nouveau modèle ouvert
Voir ce qui a changé dans Qwen3 ou Gemma 4 sans lire un grand framework
Les notebooks bonus autonomes implémentent chaque modèle dans un seul fichier, si bien que les différences d'attention, de normalisation ou de routage d'experts sont visibles ligne par ligne. Faire tourner les plus grandes variantes avec des poids pré-entraînés a besoin d'un GPU avec assez de mémoire pour les contenir.
Avant de vous engager
- Mise en route
- Clonez le dépôt et installez les prérequis avec pip ou uv ; le guide de configuration couvre les deux. Les chapitres principaux n'ont besoin d'aucun matériel spécialisé et passent à un GPU automatiquement si un est présent.
- Données et confidentialité
- Tourne localement. Le matériel optionnel du chapitre 7 appelle l'API OpenAI ou un serveur Ollama local pour l'évaluation et la génération de jeux de données ; rien d'autre ne quitte la machine. Le code est Apache 2.0 et autorise la réutilisation commerciale ; le texte du livre est sous copyright.
- Coût à grande échelle
- Le code est gratuit et n'a pas d'édition hébergée ou payante. Le livre est à 54,99 $ (ebook) ou 59,99 $ (imprimé avec ebook) chez Manning, l'audio ajoute 24,99 $, et le cours vidéo séparé est vendu par Manning.
- Limites
- Seulement 4 issues ouvertes au moment de la vérification. Il n'y a pas de versions taguées, alors suivez les commits ; le matériel enseigne les rouages à petite échelle et s'arrête avant l'entraînement ou le service de production.
Les points forts
- Construit chaque composant étape par étape en PyTorch pur
- Les chapitres principaux tournent sur un portable ordinaire
- Notebooks bonus sur Qwen3, Gemma 4 et Olmo 3
- Code Apache 2.0 réutilisable dans les cours et les produits
Les points faibles
- Les explications vivent dans le livre payant
- Rien sur le RAG, les agents ou le déploiement
- Les modèles à l'échelle d'un portable sont des démonstrations, pas des assistants utilisables
Idéal pour
Les développeurs et étudiants qui veulent comprendre les rouages des LLM en en construisant un.
Alternatives à LLMs from Scratch
LLMs from Scratch : questions fréquentes
- LLMs from Scratch vaut-il le coup ?
- Une ressource d'apprentissage rare qui rend chaque ligne d'un LLM fonctionnel lisible, maintenue à jour en 2026 par ses notebooks bonus. Nous lui donnons 4.7 sur 5.
- Combien coûte LLMs from Scratch ?
- Le code est gratuit sous la licence Apache 2.0 ; le livre compagnon est à 54,99 $ (ebook) ou 59,99 $ (imprimé).
- Quels sont les inconvénients de LLMs from Scratch ?
- Les explications vivent dans le livre payant; rien sur le RAG, les agents ou le déploiement; les modèles à l'échelle d'un portable sont des démonstrations, pas des assistants utilisables.
- À qui s’adresse LLMs from Scratch ?
- Les développeurs et étudiants qui veulent comprendre les rouages des LLM en en construisant un.
- Combien coûte LLMs from Scratch pour une équipe ou en production ?
- Le code est gratuit et n'a pas d'édition hébergée ou payante. Le livre est à 54,99 $ (ebook) ou 59,99 $ (imprimé avec ebook) chez Manning, l'audio ajoute 24,99 $, et le cours vidéo séparé est vendu par Manning.
- LLMs from Scratch est-il sûr pour les données de l’entreprise ?
- Tourne localement. Le matériel optionnel du chapitre 7 appelle l'API OpenAI ou un serveur Ollama local pour l'évaluation et la génération de jeux de données ; rien d'autre ne quitte la machine. Le code est Apache 2.0 et autorise la réutilisation commerciale ; le texte du livre est sous copyright.
- Quelles sont les meilleures alternatives à LLMs from Scratch ?
- Les alternatives les plus proches que nous avons testées sont nanochat et LLM Course.
Réponses vérifiées le 23 oct. 2026.