Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

News ·

PyTorch 2.15 bringt FP8 und viel schnelleres MoE-Decoding auf den Mac

PyTorch 2.15 ergänzt Apples MPS-Backend um FP8 und ein natives gruppiertes Matmul, durch das Mixture-of-Experts-Modelle 5 bis 6.5 Mal schneller dekodieren als in 2.14: Qwen3.6-35B-A3B steigt auf einem M3 Ultra von 9.4 auf 61.3 Tokens pro Sekunde. Softmax über das Vokabular ist etwa 8 Mal schneller, und das Video-Decoding von Wan2.2 braucht in der Spitze 8 GiB Speicher statt 270 GiB.

Anfang 2026 hieß selbst ein kleines Modell mit PyTorch auf dem Mac zu betreiben oft, fehlende Operationen, plötzliche Einbrüche und unbemerkt wachsenden Speicher zu umschiffen. PyTorch 2.15, bei dem ein großer Teil der Apple-Arbeit vom PyTorch-Team von Hugging Face stammt, schließt viel von dieser Lücke. Für alle, die Modelle lokal auf Apple Silicon mit Transformers, Diffusers oder Werkzeugen wie ComfyUI betreiben, ist es das folgenreichste Mac-Release seit Langem.

Die Hauptsache ist Tempo bei Mixture-of-Experts-Modellen, die pro Token nur einen Teil ihrer Gewichte aktivieren und zum üblichen Aufbau leistungsfähiger offener Modelle geworden sind. Eine native gruppierte Matrixmultiplikation mit eigenem Dekodierpfad und weniger Pausen, in denen die GPU auf die CPU wartet, lassen sie 5- bis 6,5-mal schneller dekodieren als in 2.14. Auf einem M3 Ultra mit torch.compile steigt Qwen3.6-35B-A3B von 9,4 auf 61,3 Token pro Sekunde und LFM2.5-8B-A1B von 23,6 auf 123,6. Auch dichte Modelle profitieren: Dekodierschichten nutzen jetzt eigene Matrix-Vektor-Kernels, mit durchschnittlich 1,23-facher Beschleunigung über 96 echte Schichtformen, und Softmax über ein großes Vokabular ist etwa 8-mal schneller.

Andere Korrekturen zählen ebenso viel wie Tempo. FP8-Tensoren kommen auf Apples MPS-Backend, speichern Werte in halb so viel Platz wie BF16 und werden direkt auf der GPU multipliziert. Das Dekodieren eines Videos mit dem gekachelten VAE von Wan2.2 trieb den Speicher früher auf etwa 270 GiB; jetzt liegt die Spitze bei etwa 8 GiB. Und ein Padding-Fehler, der in 2.14 Bilder bei der Bearbeitung mit Qwen-Image-2.1 still beschädigte, ist behoben: Ein Durchlauf aus Kodieren und Dekodieren stimmt jetzt mit der CPU bei 29,95 dB überein, statt 10,06 dB.

Für Mac-Nutzer schwindet damit ein Grund für den Umweg über MLX, das Apple-spezifische Framework, das wir ebenfalls besprechen, wenn ein Modell bereits in PyTorch läuft. Das macht MLX nicht überflüssig, doch für PyTorch geschriebener Code hat nun einen deutlich weniger mühsamen Weg, auf einem Mac gut zu laufen.

Zwei Hinweise vor dem Update. Neue Mindestanforderungen sind macOS 15 und Python 3.11, was ältere Umgebungen brechen wird. Die Geschwindigkeitswerte sind Messungen von Hugging Face, überwiegend auf einem M3 Ultra, dem Spitzenmodell von Apple; auf einem einfachen Laptop fallen die Gewinne absolut kleiner aus. Attention läuft teils noch über Apples ältere MPSGraph-Schicht; Attention vollständig in Metal ist für 2.16 angekündigt und nicht in diesem Release enthalten.

Unser Fazit: Der Mac wird zu einem ernsthaften Ort für PyTorch-Modelle, ohne Umweg über MLX. Beachte vor dem Update die neuen Mindestanforderungen macOS 15 und Python 3.11.

Unsere Testberichte:PyTorchMLX

Quelle: Hugging Face

Weitere Artikel