自分のMacでオープンなAIモデルを動かすには、たいていサードパーティのアプリを入れ、どのモデルがどれだけのメモリに収まるかを覚える必要があります。リークによると、Appleはこれをずっと簡単にしたいようです。9to5Macによれば、リーカーのAaron Perris氏が、Macを個人用のAI推論サーバーに変え、複数のMacをつないで1台では大きすぎるモデルも動かせるHarborというAppleのアプリの存在を示す証拠を見つけました。
Perris氏が投稿した説明は具体的です。HarborはオープンウェイトのモデルをApple silicon上でローカルに動かし、データが自分のハードウェアから出ることはなく、クラウドに何も送られないと強調しています。アプリ内でモデルを探し、ダウンロードして読み込め、モデルの管理はHarborが担います。最も興味深いのはクラスタリングです。2台以上のMacをThunderbolt 5でつなぐと、Harborがユニファイドメモリを一つの資源にまとめ、1台では収まらない大きなモデルを動かしたり、同時に多くのリクエストに応えたりできます。設定は自動とされ、手作業の構成もコマンドラインも要りません。Appleのソフトウェア子会社Clarisのもとで非公開プレビュー中と伝えられています。
これが本当なら、Appleは私たちがレビューしているツールと正面から競合することになります。LM StudioとOllamaはすでに、Macユーザーが数回のクリックや一つのコマンドでオープンモデルをダウンロードして動かせるようにしており、どちらも他のアプリから呼び出せるローカルサーバーを 備えています。Macでの速さの多くは、こうしたアプリの多くが使うApple自身のオープンソースの機械学習フレームワークMLXによるものです。Harborが加えるのはApple純正の完成度、そして何より複数のMacを簡単にまとめる機能で、これは今のところ愛好家向けの構成と根気が必要です。
時期も合っています。9to5Macは、今年MacがMac StudioやMac miniでローカルにモデルを動かす機械としても人気を高めていると指摘しています。大容量のユニファイドメモリを持つMacは大きなモデルを載せられる数少ない一般向けの機械で、2〜3台をつなぐほうが、データセンター用GPUのラックよりも安くメモリを増やせます。
注意点はリークにつきものです。AppleはHarborを発表しておらず、説明は一つの投稿によるもので、非公開プレビューが必ず製品になるとは限りません。価格、対応するMac、提供されるモデル、クラスターでの推論が実際にどれだけ速いかは何もわかっていません。また、Thunderbolt 5が必要なため、クラスタリングは比較的新しい上位機種のMacに限られます。