Was ist MLX?
MLX ist ein Array-Framework der Forschungsgruppe für maschinelles Lernen bei Apple, gebaut für den Unified Memory von Apple Silicon, in dem sich CPU und GPU einen Pool an Arbeitsspeicher teilen. Die Python-API folgt NumPy, die Pakete nn und optimizers folgen PyTorch, und APIs für C++, C und Swift bilden sie ab. Die Berechnung ist lazy, und Graphen werden dynamisch aufgebaut, sodass wechselnde Eingabeformen keine Neukompilierung auslösen.
Es läuft nicht mehr nur auf dem Mac. `pip install mlx[cuda12]` (oder `mlx[cuda13]`) betreibt es unter Linux mit Nvidia-GPUs ab SM 7.5, und `mlx[cpu]` liefert einen reinen CPU-Build für Linux. Die meisten begegnen ihm über mlx-lm, das Begleitpaket zum Ausführen, Quantisieren und LoRA-Fine-Tuning von LLMs aus dem Hugging Face Hub, wo die Organisation mlx-community etwa 5.800 konvertierte Modelle bereitstellt.
Version 0.32.4 erschien am 14. Oktober 2026 unter der MIT-Lizenz.
Lohnt sich MLX?
MLX ist wegen einer Hardware-Tatsache wichtig: Auf Apple Silicon kann die GPU den gesamten Arbeitsspeicher ansprechen. Ein Mac mit viel RAM kann ein quantisiertes Modell halten, das anderswo eine Rechenzentrums-GPU bräuchte, und MLX ist darum herum geschrieben, mit Arrays, die im gemeinsamen Speicher liegen und ohne Kopien auf CPU oder GPU laufen. Das Repository hat etwa 28.900 GitHub-Sterne und veröffentlichte 0.32.4 am 14. Oktober 2026.
Der praktische Nutzen steckt größtenteils in mlx-lm (etwa 7.400 Sterne) und nicht in der Kernbibliothek. Es lädt Modelle direkt aus dem Hugging Face Hub, quantisiert und lädt sie hoch, stellt sie mit mlx_lm.server über HTTP bereit und führt LoRA- und QLoRA-Fine-Tuning aus. Die eigene Doku nennt eine konkrete Zahl: LoRA auf Mistral 7B mit Batchgröße 1 und vier trainierten Schichten läuft auf einem M1 Max mit 32 GB mit etwa 250 Token pro Sekunde.
Die Grenzen sind die des Macs. Modelle nahe an der Größe des Arbeitsspeichers laufen langsam, wenn du nicht per sysctl das Limit für fest zugewiesenen GPU-Speicher anhebst, was macOS 15 voraussetzt; das Basispaket braucht macOS 14. Zu den offenen Issues gehören der GPU-Watchdog von Metal, der LoRA-Training abbricht, solange ein Display aktiv ist, und eine Kernel Panic auf einem M4 Max während eines Prefills mit 173.000 Token. Zwei CVEs mit niedrigem Schweregrad in den Ladefunktionen für Gewichte, ein Heap Overflow in load() und ein Wild Pointer in load_gguf(), wurden im November 2025 veröffentlicht.
Das CUDA-Backend erweitert das Publikum weniger, als es klingt. Es braucht Linux mit glibc 2.35 oder neuer und eine Nvidia-Karte ab SM 7.5, und sein eigentlicher Zweck ist, dass ein Team MLX-Code auf Macs schreibt und denselben Code auf einem GPU-Server ausführt. Den Stack aus vLLM und Hugging-Face-Training, den PyTorch auf dieser Hardware hat, bringt es nicht mit, und ROCm-Unterstützung für AMD ist noch ein offenes Experiment. Für reine Inferenz läuft llama.cpp überall, und Ollama versteckt die Einrichtung; MLX verdient seinen Platz, wenn du auf dem Mac selbst Kontrolle auf Python-Ebene willst.
Wo es sich lohnt
Ein ML-Engineer bei einem Startup für Support-Software mit einem MacBook Pro der M-Serie mit 32 GB
Ein 7B-Modell auf Support-Transkripten feintunen, ohne eine GPU zu mieten
Führe mlx_lm.lora mit Batchgröße 1, wenigen trainierten Schichten und Gradient Checkpointing aus; die Doku meldet etwa 250 Token pro Sekunde für Mistral 7B auf einem M1 Max mit 32 GB, ein moderater Datensatz trainiert also auf dem Laptop. Die Kosten sind Zeit auf einem Rechner, den du schon besitzt; das Risiko ist der offene Fehler, bei dem der Metal-Watchdog das Training abbricht, solange ein Display aktiv ist.
Ein Universitätsforscher, der Prototypen neuer Modellarchitekturen baut
An eigenen Schichten iterieren, ohne auf Neukompilierung zu warten
Schreib Modelle mit den PyTorch-ähnlichen Modulen von mlx.nn; die Graphen sind dynamisch, Formänderungen lösen also keine Neukompilierung aus, und kombinierbare Transformationen liefern Autodiff und Vektorisierung. Derselbe Code kann später mit mlx[cuda12] auf einem Linux-GPU-Rechner laufen, für Training im großen Maßstab führt der Weg aber weiter zu PyTorch.
Ein IT-Leiter in einer Kanzlei mit 20 Personen und strengen Vertraulichkeitsregeln
Ein privates Chat-Modell auf den Büro-Macs betreiben, statt Dokumente an eine Cloud-API zu schicken
Hol dir ein 4-Bit-Modell von mlx-community und stelle es mit mlx_lm.server auf einem Mac mit viel Arbeitsspeicher bereit, oder über eine Desktop-App, die MLX als Engine nutzt. Nichts verlässt den Rechner, und die MIT-Lizenz kostet nichts; die Ausgaben sind die Hardware und jemand, der sie pflegt.
Bevor du dich festlegst
- Einrichtung
- `pip install mlx mlx-lm` auf einem nativen arm64-Python 3.10+ mit macOS 14+; ein erstes mlx_lm.generate mit einem Modell aus dem Hub ist hauptsächlich Downloadzeit. Unter Linux nutzt du mlx[cuda12], mlx[cuda13] oder mlx[cpu]; ein nicht natives Python (Rosetta) ist die dokumentierte Stolperfalle bei der Installation.
- Integrationen
- Hugging Face Hub zum Laden, Konvertieren, Quantisieren und Hochladen; Laden von safetensors und GGUF; mx.distributed für Inferenz und Fine-Tuning über mehrere Rechner; Swift-Bindings für Apps; dient mehreren Chat-Apps für den Mac als Backend.
- Daten und Datenschutz
- Läuft lokal; das README beschreibt keine Telemetrie, eine GitHub-Codesuche im Repository findet keine, und Netzwerkzugriff dient den Downloads aus dem Hub. MIT-Lizenz, die kommerzielle Nutzung ist also uneingeschränkt, wobei die Lizenzen der Modelle weiter gelten. CVE-2025-62608 und CVE-2025-62609, beide mit niedrigem Schweregrad, betrafen die Ladefunktionen für Gewichte.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Rechnung ist Apple-Hardware, und über die passenden Modelle entscheidet die RAM-Größe, nicht die GPU-Klasse. Über einen Mac hinaus heißt es mx.distributed über mehrere Rechner, und ein offenes Issue meldet Speicherfehler, wenn diese Rechner unterschiedlich viel RAM haben.
- Grenzen
- Der CUDA-Build braucht SM 7.5+ und glibc 2.35+; AMD ist experimentell. Modelle nahe an der RAM-Größe sind langsam, ohne iogpu.wired_limit_mb anzuheben. Zu den offenen Issues gehören der Metal-Watchdog, der LoRA-Läufe stoppt, und eine Kernel Panic bei sehr langen Prefills.
Was gut ist
- Die GPU kann den gesamten Unified Memory eines Macs nutzen
- Python-API im Stil von NumPy, dazu C++, C und Swift
- LoRA und QLoRA über mlx-lm, laut Doku etwa 250 Token/s auf einem M1 Max
- Etwa 5.800 konvertierte Modelle bei mlx-community
Was nicht
- Dem CUDA-Build fehlt das Ökosystem rund um PyTorch
- Eine Bibliothek, keine App: Du schreibst Python oder nutzt ein Frontend
- Große Modelle brauchen macOS 15 und eine sysctl-Anpassung
- Offene Fehler mit Metal-Watchdog und Kernel Panic bei langen Jobs
Am besten für
Entwickler und Forscher auf dem Mac, die native Geschwindigkeit und Kontrolle über Python auf Apple Silicon wollen.
Alternativen zu MLX
MLX: häufige Fragen
- Lohnt sich MLX?
- MLX macht aus einem Mac mit viel Arbeitsspeicher eine glaubwürdige Maschine für lokale Inferenz und LoRA-Tuning; abseits von Apple Silicon ist es eine Portierung und kein Grund zum Wechseln. Wir bewerten es mit 4.4 von 5.
- Was kostet MLX?
- Kostenlos und Open Source unter der MIT-Lizenz.
- Welche Nachteile hat MLX?
- Dem CUDA-Build fehlt das Ökosystem rund um PyTorch; Eine Bibliothek, keine App: Du schreibst Python oder nutzt ein Frontend; Große Modelle brauchen macOS 15 und eine sysctl-Anpassung; Offene Fehler mit Metal-Watchdog und Kernel Panic bei langen Jobs.
- Für wen eignet sich MLX?
- Entwickler und Forscher auf dem Mac, die native Geschwindigkeit und Kontrolle über Python auf Apple Silicon wollen.
- Was kostet MLX für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Rechnung ist Apple-Hardware, und über die passenden Modelle entscheidet die RAM-Größe, nicht die GPU-Klasse. Über einen Mac hinaus heißt es mx.distributed über mehrere Rechner, und ein offenes Issue meldet Speicherfehler, wenn diese Rechner unterschiedlich viel RAM haben.
- Ist MLX sicher für Firmendaten?
- Läuft lokal; das README beschreibt keine Telemetrie, eine GitHub-Codesuche im Repository findet keine, und Netzwerkzugriff dient den Downloads aus dem Hub. MIT-Lizenz, die kommerzielle Nutzung ist also uneingeschränkt, wobei die Lizenzen der Modelle weiter gelten. CVE-2025-62608 und CVE-2025-62609, beide mit niedrigem Schweregrad, betrafen die Ladefunktionen für Gewichte.
- Was sind die besten Alternativen zu MLX?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp und Ollama.
Antworten geprüft am 26. Okt. 2026.