Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Auch: LLM, LLMs
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein LLM ist der Motor hinter Chat-Assistenten, Coding-Agenten und den meisten Textfunktionen in KI-Produkten. Du schickst ihm Text, es gibt Text zurück, ein Token nach dem anderen.
So funktioniert es
Fast jedes aktuelle LLM nutzt die Transformer-Architektur. Beim Pretraining liest es einen sehr großen Textkorpus und lernt, das nächste Token aus allem davor vorherzusagen. Dieses einfache Ziel ergibt ein Modell, das übersetzen, Fragen beantworten und Code schreiben kann. Weiteres Training wie Fine-Tuning und RLHF macht aus dem rohen Modell einen Assistenten, der Anweisungen befolgt.
Was „groß“ bedeutet
Es gibt keine feste Grenze. GPT-3, 2020 beschrieben, hatte 175 Milliarden Parameter, und die Bezeichnung blieb an Modellen dieser Größenordnung und darüber hängen. Modelle mit wenigen Milliarden Parametern heißen meist kleine Sprachmodelle.
Grenzen
Ein LLM weiß nur, was bis zu seinem Wissensstichtag in seinen Trainingsdaten war, und es kann Falsches flüssig behaupten. Es sieht außerdem nur, was in sein Kontextfenster passt. Entwickler ergänzen meist Retrieval, Tools oder Prüfungen rund um das Modell, statt der rohen Ausgabe zu vertrauen. Vergleiche aktuelle Modelle im Modellverzeichnis.
Verwandte Begriffe
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- Small Language Model
- Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
- Pretraining
- Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Halluzination (KI)
- Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.