O que é nanochat?
O nanochat é uma base de código pequena e legível de Andrej Karpathy que cobre todo o pipeline de um modelo de chat: tokenizador, pré-treinamento, fine-tuning, aprendizado por reforço, avaliação e uma interface de chat.
Segundo o README, ele treina um modelo que supera a pontuação do GPT-2 no benchmark CORE por cerca de US$ 48, aproximadamente duas horas em um nó 8xH100 a cerca de US$ 3 por hora de GPU, ou perto de US$ 15 em instâncias spot. Um ranking da comunidade acompanha a execução mais rápida, que estava em 1,65 hora em março de 2026.
Ele serve para aprendizado e pesquisa, não para produzir um assistente útil. Não tem versões com tag, e o último commit no main foi em 3 de julho de 2026.
nanochat vale a pena?
O nanochat é a visão de ponta a ponta mais clara de como um modelo de chat é feito, e nada do que ele produz é para ser usado. O repositório tem cerca de 58.900 estrelas. Ele estende o nanoGPT de Karpathy, que cobria só o pré-treinamento, para treinamento de tokenizador, fine-tuning supervisionado, aprendizado por reforço, avaliação e um chat na CLI. O README descreve o resultado como algo parecido com conversar com uma criança do jardim de infância.
A escolha de design que o torna didático é um único botão. Defina --depth e o código deriva largura, cabeças, taxas de aprendizado e horizonte de treino para que o modelo saia ótimo em computação; a capacidade do GPT-2 fica por volta de depth 24 a 26. Não há objetos de configuração nem fábricas de modelos, e o guia de contribuição diz que as mudanças precisam funcionar para qualquer depth.
A economia é o destaque. O GPT-2 custou cerca de US$ 43.000 para treinar em 2019, diz o README; o speedrun de referência supera sua pontuação CORE por cerca de US$ 48 em um nó 8xH100 alugado. Uma única GPU produz resultados quase idênticos oito vezes mais devagar, e placas com menos de 80 GB de memória precisam de um --device-batch-size menor. Existe um caminho para CPU e Apple silicon, mas ele só treina um modelo de brinquedo em dezenas de minutos.
A atividade diminuiu. O último commit no main foi em 3 de julho de 2026 e não há versões com tag, então trate-o como implementação de referência, não como biblioteca mantida. Ele não faz fine-tuning de modelos abertos existentes; isso é trabalho do TRL ou do Unsloth, e o post de lançamento de outubro de 2025 agora está em parte desatualizado, como o próprio README avisa.
Onde ele se destaca
Um engenheiro de ML saindo do trabalho aplicado para o pré-treinamento
Entender cada etapa de um LLM rodando-o uma vez
Alugue um nó 8xH100, rode runs/speedrun.sh em uma sessão screen e leia cada script enquanto ele treina. Cerca de US$ 48 sob demanda, perto de US$ 15 em spot, compram um modelo que você treinou do zero e com o qual pode conversar.
Um professor universitário que dá um curso de pós-graduação em NLP
Dar aos alunos um laboratório de treinamento do zero sem um cluster
Os alunos treinam modelos depth-12 com cerca de cinco minutos de pré-treinamento por execução, ou modelos minúsculos em CPU e Apple silicon, e comparam mudanças pelos bits por byte de validação. O código é pequeno o bastante para ser leitura do curso.
Um engenheiro de pesquisa testando uma ideia de otimizador ou de dados
Verificar se uma mudança acelera o tempo até o nível do GPT-2
Faça um fork, mude uma coisa, rode de novo um d12 ou d16 e compare val_bpb e CORE no Weights & Biases. Um resultado positivo pode ser enviado ao ranking junto com o commit.
Antes de decidir
- Configuração
- Clone, depois `uv sync --extra gpu` (ou `--extra cpu`) e `bash runs/speedrun.sh`; a execução de referência leva cerca de 1,5 a 2 horas em 8xH100, e depois `python -m scripts.chat_cli` para conversar com o modelo.
- Dados e privacidade
- Roda localmente; baixa conjuntos de dados de pré-treinamento e de chat do Hugging Face (NVIDIA ClimbMix, SmolTalk) e registra no Weights & Biases se você ativar. Código MIT; os conjuntos de dados têm licenças próprias.
- Custo em escala
- Sem edição paga. Cerca de US$ 24 por hora por um nó 8xH100 a US$ 3 por hora de GPU, ou seja, aproximadamente US$ 48 por execução de nível GPT-2; o projeto mira micromodelos treináveis por menos de US$ 1.000.
- Limites
- Sem versões; último commit em 3 de julho de 2026; menos de 80 GB de VRAM exige ajustar o batch size; os caminhos XPU e MPS não foram testados pelo autor; o RL não suporta float16.
O que é bom
- Do tokenizador à interface de chat em uma única base de código legível
- Supera a pontuação CORE do GPT-2 com cerca de US$ 48 de tempo de GPU
- Uma única configuração --depth deriva os demais hiperparâmetros
- Ranking público de speedrun com commits reproduzíveis
O que não é
- Execuções relevantes exigem alugar um nó 8xH100
- Os modelos gerados são brinquedos, por design
- Sem versões com tag; último commit em julho de 2026
- Não faz fine-tuning de modelos de pesos abertos existentes
Ideal para
Estudantes e pesquisadores que querem entender o treinamento de LLMs de ponta a ponta.
Alternativas ao nanochat
nanochat: perguntas frequentes
- nanochat vale a pena?
- Um pipeline inteiro de treinamento de LLM que você lê em uma tarde e roda pelo preço de um jantar, desde que consiga alugar oito H100. Damos nota 4.3 de 5.
- Quanto custa nanochat?
- Gratuito e de código aberto sob a licença MIT.
- Quais são as desvantagens de nanochat?
- Execuções relevantes exigem alugar um nó 8xH100; os modelos gerados são brinquedos, por design; sem versões com tag; último commit em julho de 2026; não faz fine-tuning de modelos de pesos abertos existentes.
- Para quem nanochat é indicado?
- Estudantes e pesquisadores que querem entender o treinamento de LLMs de ponta a ponta.
- Quanto custa nanochat para uma equipe ou em produção?
- Sem edição paga. Cerca de US$ 24 por hora por um nó 8xH100 a US$ 3 por hora de GPU, ou seja, aproximadamente US$ 48 por execução de nível GPT-2; o projeto mira micromodelos treináveis por menos de US$ 1.000.
- nanochat é seguro para dados da empresa?
- Roda localmente; baixa conjuntos de dados de pré-treinamento e de chat do Hugging Face (NVIDIA ClimbMix, SmolTalk) e registra no Weights & Biases se você ativar. Código MIT; os conjuntos de dados têm licenças próprias.
- Quais são as melhores alternativas ao nanochat?
- As alternativas mais próximas que analisamos são LLMs from Scratch e TRL.
Respostas verificadas em 23 de out. de 2026.