Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

NPU

Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.

Auch: neural processing unit, AI accelerator

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Eine NPU ist ein spezialisierter Prozessor für die Matrix- und Vektoroperationen, mit denen neuronale Netze die meiste Zeit verbringen. Sie kann eigenständig sein, in einer CPU sitzen oder in einer GPU. Die meisten begegnen einer NPU in einem Smartphone oder einem neueren Laptop, wo sie Aufgaben wie Fotobearbeitung, Spracherkennung, Hintergrundunschärfe in Videocalls und kleine Sprachmodelle auf dem Gerät übernimmt.

Warum das für Entwickler zählt

Auf Endgeräten ist die NPU darauf ausgelegt, klein und stromsparend zu sein, nicht bei allem schnell. Das passt gut zu Small Language Models und kurzen, häufigen Aufgaben, die den Akku nicht leeren sollen. Für große Modelle passt sie schlecht: Eine Laptop-NPU hat nicht den Speicher oder Durchsatz einer GPU im Rechenzentrum.

NPUs arbeiten meist mit Zahlenformaten niedriger Präzision wie INT8 oder INT4, daher werden Modelle in der Regel quantisiert, bevor sie darauf laufen. Was diese Formate bedeuten, erklärt numerische Präzision.

Wie du eine programmierst

Es gibt keinen einheitlichen Standard. Jeder Chiphersteller liefert sein eigenes Toolkit, zum Beispiel Apple Core ML, Intel OpenVINO, AMD Ryzen AI und das SDK von Qualcomm, und ein Modell muss oft zuerst in ein Format wie ONNX umgewandelt werden. Hersteller geben die NPU-Geschwindigkeit in TOPS an (Billionen Operationen pro Sekunde), eine Zahl, die sich meist auf INT8-Operationen bezieht und zwischen Chips schwer vergleichbar ist.

NPU, GPU oder TPU

Eine GPU ist ein allgemeiner Parallelprozessor, der zufällig auch gut für KI ist. Eine NPU ist enger gefasst und auf effiziente Inferenz auf dem Gerät ausgerichtet. Eine TPU ist Googles eigener Beschleuniger; die Versionen fürs Rechenzentrum werden über Google Cloud gemietet.

Verwandte Begriffe

GPU
Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
TPU
Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
Small Language Model
Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.

Quellen