Pretraining
Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.
Auch: pre-training
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Im Pretraining erwirbt ein Sprachmodell den Großteil seines Wissens und seiner Fähigkeiten. Das Modell liest einen riesigen Korpus aus Webseiten, Büchern, Code und anderen Texten und wird darauf trainiert, an jeder Stelle das nächste Token vorherzusagen. Niemand labelt die Daten; der Text selbst liefert die richtigen Antworten. Das Ergebnis ist ein Basismodell.
Warum es wichtig ist
Pretraining ist mit Abstand der teuerste Schritt, deshalb machen es bei großen Modellen nur wenige Organisationen. Fast alle anderen starten mit einem vortrainierten Checkpoint und passen ihn an. Das GPT-3-Paper beschreibt dieses Muster: auf einem großen Korpus vortrainieren, dann für eine Aufgabe feinjustieren. Der Bericht von 2021, der den Begriff Foundation Model prägte, nutzte ihn für Modelle, die auf breiten Daten trainiert und dann an viele Aufgaben angepasst werden.
Was ins Pretraining einfließt, prägt alles danach: welche Sprachen das Modell beherrscht, welche Programmierstile es kennt, was es wiederholt und seinen Wissensstichtag. Woher diese Daten kommen, erklärt KI-Trainingsdaten.
Unterschied zum Fine-Tuning
Fine-Tuning und Post-Training (etwa Instruction Tuning und RLHF) nutzen viel kleinere, kuratierte Datensätze, um zu ändern, wie sich das Modell verhält: Anweisungen befolgen, in einem Format antworten, manche Anfragen ablehnen. Sie fügen relativ wenig neues Wissen hinzu. Wenn ein Modell einen Fakt nicht kennt, ist Fine-Tuning meist eine schlechte Lösung; Retrieval ist oft besser.
Fortgesetztes Pretraining
Teams führen manchmal vor dem Fine-Tuning weiteres Pretraining auf einem Fachkorpus durch, etwa juristischen oder medizinischen Texten. Das liegt zwischen den beiden Phasen und kostet viel weniger als Pretraining von Grund auf.
Verwandte Begriffe
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- Foundation Model
- Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
- KI-Trainingsdaten
- KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
- Basismodell
- Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.
- Wissensstichtag
- Der Wissensstichtag (Knowledge Cutoff) ist das Datum, nach dem ein Modell kaum oder keine Informationen hat, weil seine Trainingsdaten etwa bis dahin gesammelt wurden. Spätere Ereignisse sind ihm unbekannt, sofern sie nicht im Prompt stehen.