Ein offenes KI-Modell auf dem eigenen Mac laufen zu lassen, heißt meist, eine Drittanbieter-App zu installieren und zu lernen, welches Modell in wie viel Speicher passt. Ein Leak deutet darauf hin, dass Apple das deutlich einfacher machen will. Laut 9to5Mac hat der Leaker Aaron Perris Hinweise auf eine Apple-App namens Harbor gefunden, die einen Mac in einen privaten KI-Inferenzserver verwandelt und mehrere Macs verbinden kann, um Modelle zu betreiben, die für einen Rechner zu groß sind.
Die von Perris veröffentlichte Beschreibung ist konkret. Harbor führt Modelle mit offenen Gewichten lokal auf Apple Silicon aus, und der Text betont, dass die Daten die eigene Hardware nie verlassen und nichts in die Cloud gelangt. Modelle werden in der App gesucht, heruntergeladen und geladen, Harbor übernimmt die Verwaltung. Am interessantesten ist das Clustering: Zwei oder mehr Macs per Thunderbolt 5 verbinden, und Harbor bündelt ihren gemeinsamen Arbeitsspeicher zu einer einzigen Ressource, um ein Modell zu betreiben, das größer ist als jeder einzelne Rechner fassen kann, oder mehr Anfragen gleichzeitig zu bedienen. Die Einrichtung wird als automatisch beschrieben, ohne manuelle Konfiguration oder Kommandozeile. Berichten zufolge läuft die App als private Vorschau unter Claris, Apples Software-Tochter.
Damit stünde Apple in direkter Konkurrenz zu Werkzeugen, die wir besprechen. LM Studio und Ollama lassen Mac-Nutzer offene Modelle schon mit wenigen Klicks oder einem Befehl herunterladen und ausführen, und beide bieten einen lokalen Server, den andere Apps ansprechen können. Ein Großteil des Tempos auf Macs kommt von MLX, Apples eigenem quelloffenen Framework für maschinelles Lernen, auf das viele dieser Apps setzen. Harbor würde den Feinschliff aus erster Hand beisteuern und vor allem einfaches Bündeln mehrerer Macs, was heute Bastellösungen und etwas Geduld verlangt.
Der Zeitpunkt passt. 9to5Mac weist darauf hin, dass Macs dieses Jahr beliebter geworden sind, auch als Rechner für lokale Modelle auf einem Mac Studio oder Mac mini. Ein Mac mit viel gemeinsamem Arbeitsspeicher gehört zu den wenigen Verbrauchergeräten, die ein großes Modell halten können, und zwei oder drei davon zu verbinden ist ein günstigerer Weg zu mehr Speicher als ein Schrank voller Rechenzentrums-GPUs.
Die Vorbehalte sind die jedes Leaks. Apple hat Harbor nicht angekündigt, die Beschreibung stammt aus einem einzigen Beitrag, und private Vorschauen erscheinen nicht immer. Über Preis, unterstützte Macs, angebotene Modelle oder das tatsächliche Tempo im Verbund ist nichts bekannt. Thunderbolt 5 beschränkt das Clustering zudem auf neuere, höherwertige Macs.