Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Pretraining

Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.

Auch: pre-training

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Im Pretraining erwirbt ein Sprachmodell den Großteil seines Wissens und seiner Fähigkeiten. Das Modell liest einen riesigen Korpus aus Webseiten, Büchern, Code und anderen Texten und wird darauf trainiert, an jeder Stelle das nächste Token vorherzusagen. Niemand labelt die Daten; der Text selbst liefert die richtigen Antworten. Das Ergebnis ist ein Basismodell.

Warum es wichtig ist

Pretraining ist mit Abstand der teuerste Schritt, deshalb machen es bei großen Modellen nur wenige Organisationen. Fast alle anderen starten mit einem vortrainierten Checkpoint und passen ihn an. Das GPT-3-Paper beschreibt dieses Muster: auf einem großen Korpus vortrainieren, dann für eine Aufgabe feinjustieren. Der Bericht von 2021, der den Begriff Foundation Model prägte, nutzte ihn für Modelle, die auf breiten Daten trainiert und dann an viele Aufgaben angepasst werden.

Was ins Pretraining einfließt, prägt alles danach: welche Sprachen das Modell beherrscht, welche Programmierstile es kennt, was es wiederholt und seinen Wissensstichtag. Woher diese Daten kommen, erklärt KI-Trainingsdaten.

Unterschied zum Fine-Tuning

Fine-Tuning und Post-Training (etwa Instruction Tuning und RLHF) nutzen viel kleinere, kuratierte Datensätze, um zu ändern, wie sich das Modell verhält: Anweisungen befolgen, in einem Format antworten, manche Anfragen ablehnen. Sie fügen relativ wenig neues Wissen hinzu. Wenn ein Modell einen Fakt nicht kennt, ist Fine-Tuning meist eine schlechte Lösung; Retrieval ist oft besser.

Fortgesetztes Pretraining

Teams führen manchmal vor dem Fine-Tuning weiteres Pretraining auf einem Fachkorpus durch, etwa juristischen oder medizinischen Texten. Das liegt zwischen den beiden Phasen und kostet viel weniger als Pretraining von Grund auf.

Verwandte Begriffe

Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
Foundation Model
Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
KI-Trainingsdaten
KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
Basismodell
Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.
Wissensstichtag
Der Wissensstichtag (Knowledge Cutoff) ist das Datum, nach dem ein Modell kaum oder keine Informationen hat, weil seine Trainingsdaten etwa bis dahin gesammelt wurden. Spätere Ereignisse sind ihm unbekannt, sofern sie nicht im Prompt stehen.

Quellen