Small Language Model
Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
Auch: SLM
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Small Language Models tauschen etwas Wissensbreite gegen Geschwindigkeit, niedrige Kosten und die Fähigkeit, auf lokaler Hardware zu laufen. Sie passen zu Aufgaben wie Klassifikation, Extraktion, Routing, Autovervollständigung und Assistenten auf dem Gerät, wo ein Large Language Model langsam oder teuer wäre.
Wie sie gut werden
Kleine Modelle setzen auf sorgfältig ausgewählte Trainingsdaten. Der Phi-3-Bericht von Microsoft beschreibt phi-3-mini, ein Modell mit 3,8 Milliarden Parametern, trainiert auf 3,3 Billionen Tokens, das laut den Autoren klein genug ist, um auf einem Smartphone zu laufen. Andere entstehen durch Knowledge Distillation, bei der ein kleines Schülermodell von einem größeren Lehrermodell lernt.
Eins ausführen
Mit Quantisierung passt ein kleines Modell in wenige Gigabyte Speicher, sodass Tools wie Ollama oder llama.cpp es auf einem Laptop ausführen können. Der GPU-Rechner zeigt, wie viel Speicher eine bestimmte Größe braucht.
Grenzen
Es gibt keine vereinbarte Größengrenze zwischen klein und groß. Kleine Modelle enthalten weniger Weltwissen, kommen mit langem, mehrstufigem Denken schlechter zurecht und reagieren empfindlicher auf die Formulierung des Prompts. Ein verbreitetes Muster ist, einfache Anfragen an ein kleines Modell und schwierige an ein größeres zu schicken.
Verwandte Begriffe
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Wissensdestillation
- Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.