Was ist nanochat?
nanochat ist eine kleine, gut lesbare Codebasis von Andrej Karpathy, die die gesamte Pipeline eines Chat-Modells abdeckt: Tokenizer, Pretraining, Fine-Tuning, Reinforcement Learning, Evaluation und eine Chat-Oberfläche.
Laut README trainiert sie für etwa 48 $ ein Modell, das den CORE-Benchmark-Wert von GPT-2 übertrifft: rund zwei Stunden auf einem 8xH100-Knoten zu etwa 3 $ pro GPU-Stunde, oder eher 15 $ auf Spot-Instanzen. Eine Community-Rangliste verfolgt den schnellsten Lauf, der im März 2026 bei 1,65 Stunden lag.
Sie ist zum Lernen und Forschen gedacht, nicht um einen nützlichen Assistenten zu erzeugen. Es gibt keine getaggten Releases, und der letzte Commit auf main stammt vom 3. Juli 2026.
Lohnt sich nanochat?
nanochat bietet den klarsten Blick von Anfang bis Ende darauf, wie ein Chat-Modell entsteht, und nichts, was dabei herauskommt, ist zum Einsatz gedacht. Das Repository hat etwa 58.900 Sterne. Es erweitert Karpathys nanoGPT, das nur das Pretraining abdeckte, um Tokenizer-Training, Supervised Fine-Tuning, Reinforcement Learning, Evaluation und einen Chat in der CLI. Das README beschreibt das Ergebnis als ein bisschen wie ein Gespräch mit einem Kindergartenkind.
Die Designentscheidung, die es lehrbar macht, ist ein einziger Regler. Setze --depth, und der Code leitet Breite, Heads, Lernraten und Trainingsdauer so ab, dass das Modell rechenoptimal herauskommt; die Leistung von GPT-2 liegt etwa bei Tiefe 24 bis 26. Es gibt keine Konfigurationsobjekte oder Modell-Factories, und der Contributing Guide verlangt, dass Änderungen für jede Tiefe funktionieren.
Die Wirtschaftlichkeit ist die Schlagzeile. Das Training von GPT-2 kostete 2019 laut README etwa 43.000 $; der Referenz-Speedrun übertrifft dessen CORE-Wert für etwa 48 $ auf einem gemieteten 8xH100-Knoten. Eine einzelne GPU liefert nahezu identische Ergebnisse, achtmal langsamer, und Karten mit weniger als 80 GB Speicher brauchen eine kleinere --device-batch-size. Ein Pfad für CPU und Apple Silicon existiert, trainiert aber nur ein Spielzeugmodell in einigen Dutzend Minuten.
Die Aktivität hat nachgelassen. Der letzte Commit auf main war am 3. Juli 2026, und es gibt keine getaggten Releases. Behandle es also als Referenzimplementierung, nicht als gepflegte Bibliothek. Bestehende offene Modelle kann es nicht feintunen, das ist Aufgabe von TRL oder Unsloth, und der Launch-Beitrag vom Oktober 2025 ist inzwischen teilweise veraltet, wie das README selbst warnt.
Wo es sich lohnt
Ein ML-Engineer, der von angewandter Arbeit ins Pretraining wechselt
Jede Stufe eines LLM verstehen, indem er sie einmal selbst durchläuft
Miete einen 8xH100-Knoten, starte runs/speedrun.sh in einer screen-Sitzung und lies jedes Skript, während das Training läuft. Für etwa 48 $ on demand, eher 15 $ auf Spot, bekommst du ein selbst von Grund auf trainiertes Modell, mit dem du chatten kannst.
Eine Hochschuldozentin, die einen NLP-Kurs im Master unterrichtet
Studierenden ein Trainingslabor von Grund auf geben, ohne Cluster
Die Studierenden trainieren Modelle mit Tiefe 12 in etwa fünf Minuten Pretraining pro Lauf oder winzige Modelle auf CPU und Apple Silicon und vergleichen Änderungen anhand der Validierungs-Bits pro Byte. Der Code ist klein genug, um ihn als Lektüre aufzugeben.
Ein Research Engineer, der einen Optimierer oder eine Datenidee testet
Prüfen, ob eine Änderung die Zeit bis zum GPT-2-Niveau verkürzt
Forke das Repository, ändere eine Sache, führe d12 oder d16 erneut aus und vergleiche val_bpb und CORE in Weights & Biases. Ein positives Ergebnis lässt sich mit seinem Commit bei der Rangliste einreichen.
Bevor du dich festlegst
- Einrichtung
- Klonen, dann `uv sync --extra gpu` (oder `--extra cpu`) und `bash runs/speedrun.sh`; der Referenzlauf dauert auf 8xH100 etwa 1,5 bis 2 Stunden, danach sprichst du mit `python -m scripts.chat_cli` mit dem Modell.
- Daten und Datenschutz
- Läuft lokal; lädt Datensätze für Pretraining und Chat von Hugging Face herunter (NVIDIA ClimbMix, SmolTalk) und protokolliert in Weights & Biases, wenn du das aktivierst. Code unter MIT; die Datensätze haben eigene Lizenzen.
- Kosten im großen Maßstab
- Keine kostenpflichtige Edition. Etwa 24 $ pro Stunde für einen 8xH100-Knoten bei 3 $ pro GPU-Stunde, also rund 48 $ pro Lauf auf GPT-2-Niveau; das Projekt zielt auf Mikromodelle, die sich für unter 1.000 $ trainieren lassen.
- Grenzen
- Keine Releases; letzter Commit am 3. Juli 2026; mit weniger als 80 GB VRAM muss die Batchgröße angepasst werden; die Pfade für XPU und MPS hat der Autor nicht getestet; RL unterstützt kein float16.
Was gut ist
- Vom Tokenizer bis zur Chat-Oberfläche in einer lesbaren Codebasis
- Übertrifft den CORE-Wert von GPT-2 für etwa 48 $ GPU-Zeit
- Eine einzige Einstellung --depth leitet die übrigen Hyperparameter ab
- Öffentliche Speedrun-Rangliste mit reproduzierbaren Commits
Was nicht
- Aussagekräftige Läufe brauchen einen gemieteten 8xH100-Knoten
- Die erzeugten Modelle sind bewusst Spielzeuge
- Keine getaggten Releases; letzter Commit im Juli 2026
- Kann bestehende Open-Weight-Modelle nicht feintunen
Am besten für
Lernende und Forscher, die LLM-Training von Anfang bis Ende verstehen wollen.
Alternativen zu nanochat
nanochat: häufige Fragen
- Lohnt sich nanochat?
- Eine komplette LLM-Trainingspipeline, die du an einem Nachmittag lesen und zum Preis eines Abendessens ausführen kannst, sofern du acht H100 mieten kannst. Wir bewerten es mit 4.3 von 5.
- Was kostet nanochat?
- Kostenlos und Open Source unter der MIT-Lizenz.
- Welche Nachteile hat nanochat?
- Aussagekräftige Läufe brauchen einen gemieteten 8xH100-Knoten; Die erzeugten Modelle sind bewusst Spielzeuge; Keine getaggten Releases; letzter Commit im Juli 2026; Kann bestehende Open-Weight-Modelle nicht feintunen.
- Für wen eignet sich nanochat?
- Lernende und Forscher, die LLM-Training von Anfang bis Ende verstehen wollen.
- Was kostet nanochat für ein Team oder im Produktivbetrieb?
- Keine kostenpflichtige Edition. Etwa 24 $ pro Stunde für einen 8xH100-Knoten bei 3 $ pro GPU-Stunde, also rund 48 $ pro Lauf auf GPT-2-Niveau; das Projekt zielt auf Mikromodelle, die sich für unter 1.000 $ trainieren lassen.
- Ist nanochat sicher für Firmendaten?
- Läuft lokal; lädt Datensätze für Pretraining und Chat von Hugging Face herunter (NVIDIA ClimbMix, SmolTalk) und protokolliert in Weights & Biases, wenn du das aktivierst. Code unter MIT; die Datensätze haben eigene Lizenzen.
- Was sind die besten Alternativen zu nanochat?
- Die nächsten Alternativen, die wir getestet haben, sind LLMs from Scratch und TRL.
Antworten geprüft am 23. Okt. 2026.