Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Small Language Model

Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.

Auch: SLM

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Small Language Models tauschen etwas Wissensbreite gegen Geschwindigkeit, niedrige Kosten und die Fähigkeit, auf lokaler Hardware zu laufen. Sie passen zu Aufgaben wie Klassifikation, Extraktion, Routing, Autovervollständigung und Assistenten auf dem Gerät, wo ein Large Language Model langsam oder teuer wäre.

Wie sie gut werden

Kleine Modelle setzen auf sorgfältig ausgewählte Trainingsdaten. Der Phi-3-Bericht von Microsoft beschreibt phi-3-mini, ein Modell mit 3,8 Milliarden Parametern, trainiert auf 3,3 Billionen Tokens, das laut den Autoren klein genug ist, um auf einem Smartphone zu laufen. Andere entstehen durch Knowledge Distillation, bei der ein kleines Schülermodell von einem größeren Lehrermodell lernt.

Eins ausführen

Mit Quantisierung passt ein kleines Modell in wenige Gigabyte Speicher, sodass Tools wie Ollama oder llama.cpp es auf einem Laptop ausführen können. Der GPU-Rechner zeigt, wie viel Speicher eine bestimmte Größe braucht.

Grenzen

Es gibt keine vereinbarte Größengrenze zwischen klein und groß. Kleine Modelle enthalten weniger Weltwissen, kommen mit langem, mehrstufigem Denken schlechter zurecht und reagieren empfindlicher auf die Formulierung des Prompts. Ein verbreitetes Muster ist, einfache Anfragen an ein kleines Modell und schwierige an ein größeres zu schicken.

Verwandte Begriffe

Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Wissensdestillation
Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Modellparameter
Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.

Quellen