O que é LLMs from Scratch?
LLMs from Scratch é o repositório de código do livro de Sebastian Raschka "Build a Large Language Model (From Scratch)" (Manning, setembro de 2024, 368 páginas). Seus notebooks constroem tokenização, atenção, um modelo no estilo GPT, pré-treinamento e ajuste fino por instruções em PyTorch puro, sem bibliotecas de LLM.
As pastas bônus vão bem além do livro, com implementações do zero de Llama 3.2, Qwen3 (denso e mixture-of-experts), Gemma 3, Olmo 3, Qwen3.5 e Gemma 4, além de ajuste por preferência com DPO e avaliação via Ollama.
O código é gratuito sob Apache 2.0; o livro custa $59.99 impresso ou $54.99 como ebook. O repositório não tem versões com tag; o último commit foi em 2 de outubro de 2026.
LLMs from Scratch vale a pena?
Este é o caminho mais claro entre saber PyTorch e entender como funciona um modelo no estilo GPT, porque nada fica escondido atrás de uma chamada de biblioteca. Com cerca de 107.100 estrelas no GitHub, é um dos repositórios de aprendizado de IA mais seguidos, e Raschka ainda faz commits de correções, o mais recente em 2 de outubro de 2026.
O material bônus é o que o mantém relevante dois anos após a publicação. Notebooks independentes reconstroem arquiteturas abertas recentes, incluindo as camadas mixture-of-experts do Qwen3 e as variantes E2B e E4B do Gemma 4, para que o leitor veja exatamente como um modelo atual se afasta do design no estilo GPT-2 com que o livro começa. Um curso em vídeo complementar de 17 horas e um PDF gratuito de 170 páginas com questionários da Manning atendem a diferentes formas de aprender.
Seus limites são deliberados. Os capítulos principais foram feitos para rodar em um notebook comum, então os modelos são pequenos e o pré-treinamento é uma demonstração, não um assistente utilizável. Ele ensina o funcionamento interno, não a construção de aplicações: não há nada sobre recuperação, agentes ou implantação. E, embora os notebooks rodem sozinhos, o raciocínio por trás de cada etapa está no livro pago.
O nanochat de Karpathy cobre terreno parecido como uma única execução de treinamento de ponta a ponta em GPUs alugadas, e serve a leitores que querem ver um pipeline completo produzir um modelo de chat. A versão de Raschka é mais lenta e mais próxima de um livro-texto, e seu repositório sequência, Reasoning From Scratch, segue para escalonamento no tempo de inferência, aprendizado por reforço e destilação.
Onde ele se destaca
Um desenvolvedor de backend migrando para uma equipe de ML
Entender atenção, tokenização e ajuste fino o bastante para depurar modelos reais
Avançar um capítulo por semana em um notebook; o ajuste fino por instruções do capítulo 7 e seu script de avaliação baseado em Ollama fecham o ciclo. O custo é o livro impresso de $59.99 (muitas vezes com desconto na Manning) e algumas noites, não GPUs na nuvem.
Uma professora universitária que ministra uma disciplina de NLP
Construir trabalhos práticos em torno de um transformer funcional
A licença Apache 2.0 permite reutilizar os notebooks em materiais de curso, e o PDF gratuito de 170 páginas com questionários da Manning tem cerca de 30 perguntas por capítulo. Alunos sem GPU ainda conseguem rodar os capítulos principais, que usam uma GPU automaticamente quando há uma.
Um engenheiro de ML avaliando a arquitetura de um novo modelo aberto
Ver o que mudou no Qwen3 ou no Gemma 4 sem ler um framework grande
Os notebooks bônus independentes implementam cada modelo em um único arquivo, então diferenças em atenção, normalização ou roteamento de experts ficam visíveis linha a linha. Rodar as variantes maiores com pesos pré-treinados exige uma GPU com memória suficiente para comportá-los.
Antes de decidir
- Configuração
- Clone o repositório e instale os requisitos com pip ou uv; o guia de configuração cobre os dois. Os capítulos principais não exigem hardware especializado e passam para uma GPU automaticamente se houver uma.
- Dados e privacidade
- Roda localmente. O material opcional do capítulo 7 chama a API da OpenAI ou um servidor Ollama local para avaliação e geração de datasets; nada mais sai da máquina. O código é Apache 2.0 e permite reutilização comercial; o texto do livro tem direitos autorais.
- Custo em escala
- O código é gratuito e não tem edição hospedada nem paga. O livro custa $54.99 (ebook) ou $59.99 (impresso com ebook) na Manning, o áudio acrescenta $24.99, e o curso em vídeo separado é vendido pela Manning.
- Limites
- Só 4 issues abertas no momento da verificação. Não há versões com tag, então acompanhe os commits; o material ensina o funcionamento interno em pequena escala e para antes do treinamento ou da operação em produção.
O que é bom
- Constrói cada componente passo a passo em PyTorch puro
- Os capítulos principais rodam em um notebook comum
- Notebooks bônus sobre Qwen3, Gemma 4 e Olmo 3
- Código Apache 2.0 reutilizável em cursos e produtos
O que não é
- As explicações estão no livro pago
- Nada sobre RAG, agentes ou implantação
- Modelos na escala de um notebook são demonstrações, não assistentes utilizáveis
Ideal para
Desenvolvedores e estudantes que querem entender o funcionamento interno dos LLMs construindo um.
Alternativas ao LLMs from Scratch
LLMs from Scratch: perguntas frequentes
- LLMs from Scratch vale a pena?
- Um recurso de aprendizado raro que torna legível cada linha de um LLM funcional, mantido atual em 2026 por seus notebooks bônus. Damos nota 4.7 de 5.
- Quanto custa LLMs from Scratch?
- O código é gratuito sob a licença Apache 2.0; o livro que o acompanha custa $54.99 (ebook) ou $59.99 (impresso).
- Quais são as desvantagens de LLMs from Scratch?
- As explicações estão no livro pago; nada sobre RAG, agentes ou implantação; modelos na escala de um notebook são demonstrações, não assistentes utilizáveis.
- Para quem LLMs from Scratch é indicado?
- Desenvolvedores e estudantes que querem entender o funcionamento interno dos LLMs construindo um.
- Quanto custa LLMs from Scratch para uma equipe ou em produção?
- O código é gratuito e não tem edição hospedada nem paga. O livro custa $54.99 (ebook) ou $59.99 (impresso com ebook) na Manning, o áudio acrescenta $24.99, e o curso em vídeo separado é vendido pela Manning.
- LLMs from Scratch é seguro para dados da empresa?
- Roda localmente. O material opcional do capítulo 7 chama a API da OpenAI ou um servidor Ollama local para avaliação e geração de datasets; nada mais sai da máquina. O código é Apache 2.0 e permite reutilização comercial; o texto do livro tem direitos autorais.
- Quais são as melhores alternativas ao LLMs from Scratch?
- As alternativas mais próximas que analisamos são nanochat e LLM Course.
Respostas verificadas em 23 de out. de 2026.