¿Qué es LLMs from Scratch?
LLMs from Scratch es el repositorio de código del libro de Sebastian Raschka "Build a Large Language Model (From Scratch)" (Manning, septiembre de 2024, 368 páginas). Sus notebooks construyen la tokenización, la atención, un modelo al estilo GPT, el preentrenamiento y el fine-tuning con instrucciones en PyTorch puro, sin librerías de LLM.
Las carpetas de material extra van mucho más allá del libro, con implementaciones desde cero de Llama 3.2, Qwen3 (denso y mixture-of-experts), Gemma 3, Olmo 3, Qwen3.5 y Gemma 4, además de ajuste por preferencias con DPO y evaluación mediante Ollama.
El código es gratuito bajo Apache 2.0; el libro cuesta 59,99 $ en papel o 54,99 $ en ebook. El repositorio no tiene versiones etiquetadas; el último commit fue el 2 de octubre de 2026.
¿Merece la pena LLMs from Scratch?
Es el camino más claro para pasar de saber PyTorch a entender cómo funciona un modelo al estilo GPT, porque nada queda oculto tras una llamada a una librería. Con unas 107.100 estrellas en GitHub es uno de los repositorios de aprendizaje de IA con más seguidores, y Raschka sigue subiendo correcciones, la última el 2 de octubre de 2026.
El material extra es lo que lo mantiene vigente dos años después de su publicación. Notebooks independientes reconstruyen arquitecturas abiertas recientes, como las capas mixture-of-experts de Qwen3 y las variantes E2B y E4B de Gemma 4, de modo que el lector ve exactamente en qué se aparta un modelo actual del diseño al estilo GPT-2 con el que empieza el libro. Un curso en vídeo complementario de 17 horas y un PDF gratuito de 170 páginas con cuestionarios de Manning se adaptan a distintas formas de aprender.
Sus límites son deliberados. Los capítulos principales están pensados para funcionar en un portátil corriente, así que los modelos son pequeños y el preentrenamiento es una demostración, no un asistente utilizable. Enseña el funcionamiento interno, no a crear aplicaciones: no hay nada sobre recuperación, agentes o despliegue. Y aunque los notebooks funcionan por sí solos, el razonamiento detrás de cada paso está en el libro de pago.
nanochat de Karpathy cubre un terreno parecido como una única ejecución de entrenamiento completa en GPU alquiladas, y encaja con quien quiere ver un pipeline entero producir un modelo de chat. La versión de Raschka es más lenta y más cercana a un libro de texto, y su repositorio de continuación, Reasoning From Scratch, sigue con el escalado en tiempo de inferencia, el aprendizaje por refuerzo y la destilación.
Dónde se gana su sitio
Un desarrollador de backend que pasa a un equipo de ML
Entender la atención, la tokenización y el fine-tuning lo bastante bien como para depurar modelos reales
Avanzar un capítulo por semana en un portátil; el fine-tuning con instrucciones del capítulo 7 y su script de evaluación con Ollama cierran el ciclo. El coste es el libro en papel de 59,99 $ (a menudo con descuento en Manning) y algunas tardes, no GPU en la nube.
Un profesor universitario que imparte una asignatura de PLN
Montar prácticas en torno a un transformer que funciona
La licencia Apache 2.0 permite reutilizar los notebooks en los materiales del curso, y el PDF gratuito de 170 páginas con cuestionarios de Manning trae unas 30 preguntas por capítulo. Los estudiantes sin GPU pueden ejecutar igualmente los capítulos principales, que usan una GPU automáticamente cuando la hay.
Un ingeniero de ML que analiza la arquitectura de un nuevo modelo abierto
Ver qué ha cambiado en Qwen3 o Gemma 4 sin leer un framework grande
Los notebooks extra independientes implementan cada modelo en un solo archivo, así que las diferencias en atención, normalización o enrutado de expertos se ven línea a línea. Ejecutar las variantes grandes con pesos preentrenados requiere una GPU con memoria suficiente para cargarlos.
Antes de decidirte
- Puesta en marcha
- Clona el repositorio e instala los requisitos con pip o uv; la guía de instalación cubre ambos. Los capítulos principales no necesitan hardware especializado y pasan a una GPU automáticamente si la hay.
- Datos y privacidad
- Funciona en local. El material opcional del capítulo 7 llama a la API de OpenAI o a un servidor local de Ollama para evaluar y generar datasets; nada más sale de la máquina. El código es Apache 2.0 y permite la reutilización comercial; el texto del libro tiene copyright.
- Coste a escala
- El código es gratuito y no tiene edición alojada ni de pago. El libro cuesta 54,99 $ (ebook) o 59,99 $ (papel con ebook) en Manning, el audio añade 24,99 $, y el curso en vídeo aparte lo vende Manning.
- Límites
- Solo 4 incidencias abiertas en el momento de la revisión. No hay versiones etiquetadas, así que hay que seguir los commits; el material enseña el funcionamiento interno a pequeña escala y no llega al entrenamiento ni al servicio en producción.
Lo bueno
- Construye cada componente paso a paso en PyTorch puro
- Los capítulos principales funcionan en un portátil corriente
- Notebooks extra sobre Qwen3, Gemma 4 y Olmo 3
- Código Apache 2.0 reutilizable en cursos y productos
Lo malo
- Las explicaciones están en el libro de pago
- Nada sobre RAG, agentes o despliegue
- Los modelos a escala de portátil son demostraciones, no asistentes utilizables
Ideal para
Desarrolladores y estudiantes que quieren entender el funcionamiento interno de los LLM construyendo uno.
Alternativas a LLMs from Scratch
LLMs from Scratch: preguntas frecuentes
- ¿Merece la pena LLMs from Scratch?
- Un recurso de aprendizaje poco común que hace legible cada línea de un LLM que funciona, y que sus notebooks extra mantienen al día en 2026. Le damos un 4.7 sobre 5.
- ¿Cuánto cuesta LLMs from Scratch?
- El código es gratuito bajo licencia Apache 2.0; el libro que lo acompaña cuesta 54,99 $ (ebook) o 59,99 $ (papel).
- ¿Qué inconvenientes tiene LLMs from Scratch?
- Las explicaciones están en el libro de pago; nada sobre RAG, agentes o despliegue; los modelos a escala de portátil son demostraciones, no asistentes utilizables.
- ¿Para quién es LLMs from Scratch?
- Desarrolladores y estudiantes que quieren entender el funcionamiento interno de los LLM construyendo uno.
- ¿Cuánto cuesta LLMs from Scratch para un equipo o en producción?
- El código es gratuito y no tiene edición alojada ni de pago. El libro cuesta 54,99 $ (ebook) o 59,99 $ (papel con ebook) en Manning, el audio añade 24,99 $, y el curso en vídeo aparte lo vende Manning.
- ¿Es LLMs from Scratch seguro para los datos de la empresa?
- Funciona en local. El material opcional del capítulo 7 llama a la API de OpenAI o a un servidor local de Ollama para evaluar y generar datasets; nada más sale de la máquina. El código es Apache 2.0 y permite la reutilización comercial; el texto del libro tiene copyright.
- ¿Cuáles son las mejores alternativas a LLMs from Scratch?
- Las alternativas más cercanas que hemos analizado son nanochat y LLM Course.
Respuestas comprobadas el 23 oct 2026.