Was ist SmolLM3-3B?
SmolLM3-3B ist ein kleines Sprachmodell von Hugging Face, veröffentlicht am 8. Juli 2025. Es hat etwa 3,1 Milliarden Parameter und wurde mit 11,2 Billionen Tokens auf 384 H100-GPUs über 24 Tage trainiert. Trainiert wurde mit einem Kontext von 64K Tokens, mit YaRN, einer gängigen Methode zur Kontexterweiterung, reicht er bis 128K; die mitgelieferte Konfiguration steht auf 65.536 Tokens, für das längere Fenster musst du die Konfiguration also ändern.
Es hat zwei Modi: erweitertes Nachdenken, standardmäßig aktiv, und direkte Antworten, umgeschaltet mit /think und /no_think. Es unterstützt Tool Calling im XML- oder Python-Call-Stil und sechs Sprachen: Englisch, Französisch, Spanisch, Deutsch, Italienisch und Portugiesisch.
Die Gewichte stehen unter Apache 2.0. Hugging Face hat außerdem die Datenmischung, Trainingskonfigurationen, Zwischen-Checkpoints und Evaluationscode veröffentlicht, sodass Forschende das Training reproduzieren oder verändern können. Die Gewichte wurden zuletzt am 10. September 2025 aktualisiert, und Hugging Face hat kein SmolLM4 angekündigt; das GitHub-Repository smollm erhält noch Wartungs-Commits (der letzte am 3. Oktober 2026), aber kein neues Modell.
Lohnt sich SmolLM3-3B?
Der eigentliche Wert von SmolLM3 ist Offenheit, nicht Leistung. Nur wenige Modelle veröffentlichen das komplette Rezept: Datenmischung, Konfigurationen, Zwischen-Checkpoints und Evaluationscode. Wer erforscht oder lehrt, wie Sprachmodelle trainiert werden, oder das Pretraining von einem bekannten Stand aus fortsetzen will, bekommt hier einen besser dokumentierten Ausgangspunkt als bei jedem anderen 3B-Modell, und die 731.000 Downloads auf Hugging Face im vergangenen Monat deuten darauf hin, dass das viele tun.
Als Modell war es zum Start konkurrenzfähig und ist es heute nicht mehr. Hugging Faces eigene Tabellen zeigen, dass es Llama-3.2-3B und Qwen2.5-3B schlägt, aber hinter Qwen3-4B mit aktivem Nachdenken liegt: 36,7 gegenüber 58,8 bei AIME 2025 und 41,7 gegenüber 55,3 bei GPQA Diamond. Das Nachdenken macht viel aus (AIME steigt von 9,3 auf 36,7), und Tool Calling hält auch ohne es mit 92,3 bei BFCL stand.
Das Feld von 2026 hat es abgehängt. IBM meldet für Granite 4.2 3B im eigenen Setup 78,33 bei AIME 2025, mehr als das Doppelte des besten Werts von SmolLM3, und Googles Gemma 4 E2B und E4B lesen zudem Bilder und Audio. SmolLM3 verarbeitet nur Text, deckt sechs europäische Sprachen ab und wurde seit September 2025 nicht aktualisiert.
Seine Größe ist der einzige praktische Vorteil, der nicht gealtert ist. Mit etwa 6GB in BF16 läuft es auf einem Laptop, und Hugging Face liefert Builds für llama.cpp, MLX, ONNX, MLC und ExecuTorch, sodass dieselben Gewichte, die eine Forscherin untersucht, auch auf ein Handy passen. Das ist die Nische: Experimente, bei denen das genaue Wissen, was in das Modell eingeflossen ist, mehr wert ist als die gut 40 AIME-Punkte, die Granite 4.2 3B mehr für sich beansprucht.
Wo es sich lohnt
Eine Hochschuldozentin mit einem Masterkurs zum Training von LLMs
Studierenden jede Phase eines echten Pretraining-Laufs zeigen
Nutze die veröffentlichte Datenmischung, Konfigurationen und Zwischen-Checkpoints, um das Modell an verschiedenen Punkten des Trainings zu vergleichen, und lass die Studierenden dann von einem Checkpoint aus auf einer GPU feintunen. Kostenlos unter Apache 2.0; kein anderes 3B-Modell dokumentiert seinen Lauf so vollständig.
Ein ML-Forscher, der Datenmischungen untersucht
Kontrollierte Experimente zum fortgesetzten Pretraining oder Ablationen von einer bekannten Basis aus durchführen
Starte von SmolLM3-3B-Base oder einem Zwischen-Checkpoint und ändere eine Variable im veröffentlichten Rezept. Bei etwa 3B Parametern passen Experimente auf einen einzelnen Node; den ursprünglichen Lauf über 24 Tage mit 384 GPUs zu reproduzieren, kostet weit mehr.
Ein Mobile-Entwickler, der einen Offline-Assistenten prototypisiert
Ein vollständig offenes On-Device-Modell für Englisch und fünf weitere europäische Sprachen ausliefern
Lass den ONNX- oder ExecuTorch-Build lokal laufen, mit /no_think für schnelle Antworten und Tool Calls für Aktionen in der App. Das ist günstig und freizügig lizenziert, aber Gemma 4 E2B oder Granite 4.2 3B beantworten schwierigere Fragen spürbar besser.
Bevor du dich festlegst
- Einrichtung
- Braucht Transformers 4.53 oder neuer, oder vLLM- und SGLang-Server mit dem Hermes-Tool-Parser; für das 128K-Fenster musst du max_position_embeddings und rope_scaling in der Konfiguration anpassen.
- Integrationen
- Transformers, vLLM, SGLang, llama.cpp, MLX, ONNX, MLC und ExecuTorch, mit quantisierten Checkpoints in der Sammlung von Hugging Face. Kein gehosteter Endpunkt bei Hugging Faces Inference Providers.
- Daten und Datenschutz
- Apache 2.0 ohne Zusatz zur zulässigen Nutzung; kommerzielle Nutzung und Weitergabe erlaubt. Nur zum Selbsthosten, Daten bleiben also auf deinem Gerät oder Server. Die Mischung der Trainingsdaten ist öffentlich, was Herkunftsprüfungen möglich macht.
- Kosten im großen Maßstab
- Etwa 3,1 Mrd. Parameter, rund 6GB in BF16, also eine einzelne Consumer-GPU, ein Apple-Laptop oder ein 4-Bit-Build fürs Handy. Da keine kostenpflichtige API gelistet ist, sind die Kosten im großen Maßstab deine eigene Hardware.
- Grenzen
- 64K nativer Kontext, 128K mit YaRN; sechs Sprachen; nur Text; Hugging Face warnt, dass Ausgaben ungenau oder voreingenommen sein können; schwächeres Reasoning als 3B- bis 4B-Modelle von 2026.
Was gut ist
- Apache 2.0 mit veröffentlichter Datenmischung, Konfigurationen und Zwischen-Checkpoints
- Umschaltbares Nachdenken mit /think und /no_think
- Etwa 6GB in BF16, mit Builds für llama.cpp, MLX, ONNX und ExecuTorch
- Laut Hugging Face 92,3 bei BFCL-Tool-Calling ohne Nachdenken
Was nicht
- 36,7 bei AIME 2025 gegenüber den selbst gemeldeten 78,33 von Granite 4.2 3B
- Nur sechs europäische Sprachen
- Nur Text
- Kein Update seit September 2025 und kein angekündigter Nachfolger
Am besten für
Forschende und Lehrende, die ein kleines, vollständig reproduzierbares Modell untersuchen oder feintunen wollen.
Alternativen zu SmolLM3-3B
SmolLM3-3B: häufige Fragen
- Lohnt sich SmolLM3-3B?
- SmolLM3 ist eher ein Trainingslauf hinter Glas als ein Produkt: unübertroffen, um zu lernen, wie ein 3B-Modell entsteht, aber überholt, wenn du eins ausliefern willst. Wir bewerten es mit 3.5 von 5.
- Was kostet SmolLM3-3B?
- Kostenlose Gewichte unter Apache 2.0, mit veröffentlichtem Rezept für die Trainingsdaten und Checkpoints. Keine gehostete API bei Hugging Faces eigenen Inference Providers.
- Welche Nachteile hat SmolLM3-3B?
- 36,7 bei AIME 2025 gegenüber den selbst gemeldeten 78,33 von Granite 4.2 3B; Nur sechs europäische Sprachen; Nur Text; Kein Update seit September 2025 und kein angekündigter Nachfolger.
- Für wen eignet sich SmolLM3-3B?
- Forschende und Lehrende, die ein kleines, vollständig reproduzierbares Modell untersuchen oder feintunen wollen.
- Was kostet SmolLM3-3B für ein Team oder im Produktivbetrieb?
- Etwa 3,1 Mrd. Parameter, rund 6GB in BF16, also eine einzelne Consumer-GPU, ein Apple-Laptop oder ein 4-Bit-Build fürs Handy. Da keine kostenpflichtige API gelistet ist, sind die Kosten im großen Maßstab deine eigene Hardware.
- Ist SmolLM3-3B sicher für Firmendaten?
- Apache 2.0 ohne Zusatz zur zulässigen Nutzung; kommerzielle Nutzung und Weitergabe erlaubt. Nur zum Selbsthosten, Daten bleiben also auf deinem Gerät oder Server. Die Mischung der Trainingsdaten ist öffentlich, was Herkunftsprüfungen möglich macht.
- Was sind die besten Alternativen zu SmolLM3-3B?
- Die nächsten Alternativen, die wir getestet haben, sind Granite 4.2, Gemma 4 und Phi-4-multimodal.
Antworten geprüft am 26. Okt. 2026.