자신의 Mac에서 오픈 AI 모델을 돌리려면 보통 서드파티 앱을 설치하고 어떤 모델이 얼마만큼의 메모리 에 들어가는지 익혀야 합니다. 한 유출 정보는 Apple이 이를 훨씬 간단하게 만들려 한다는 것을 시사합니다. 9to5Mac에 따르면 유출 전문가 Aaron Perris가 Mac을 개인용 AI 추론 서버로 바꾸고, 여러 대의 Mac을 연결해 한 대로는 너무 큰 모델도 돌릴 수 있게 하는 Harbor라는 Apple 앱의 증거를 찾았습니다.
Perris가 올린 설명은 구체적입니다. Harbor는 오픈 웨이트 모델을 Apple silicon에서 로컬로 실행하며, 데이터가 자신의 하드웨어를 떠나지 않고 클라우드로 아무것도 가지 않는다고 강조합니다. 앱 안에서 모델을 찾아 내려받고 불러올 수 있으며, 모델 관리는 Harbor가 맡습니다. 가장 흥미로운 기능은 클러스터링입니다. 두 대 이상의 Mac을 Thunderbolt 5로 연결하면 Harbor가 통합 메모리를 하나의 자원으로 묶어, 한 대가 감당할 수 없는 큰 모델을 돌리거나 더 많은 요청을 동시에 처리할 수 있습니다. 설정은 자동이며 수동 구성이나 명령줄이 필요 없다고 설명됩니다. 보도에 따르면 Apple의 소프트웨어 자회사 Claris 아래에서 비공개 프리뷰 중입니다.
그렇게 되면 Apple은 우리가 리뷰하는 도구들과 정면으로 경쟁하게 됩니다. LM Studio와 Ollama는 이미 Mac 사용자가 몇 번의 클릭이나 명령 하나로 오픈 모델을 내려받아 실행하게 해 주며, 둘 다 다른 앱이 호출할 수 있는 로컬 서버를 제공합니다. Mac에서의 속도 상당 부분은 이런 앱 다수가 쓰는 Apple 자체의 오픈소스 머신러닝 프레임워크 MLX에서 나옵니다. Harbor가 더할 것은 Apple 순정의 완성도, 그리고 무엇보다 여러 Mac을 쉽게 묶는 기능인데, 지금은 이를 위해 취미 수준의 구성과 인내가 필요합니다.
시기도 맞아떨어집니다. 9to5Mac은 올해 Mac이 Mac Studio나 Mac mini에서 로컬로 모델을 돌리는 기계로서도 인기가 높아졌다고 짚습니다. 통합 메모리가 큰 Mac은 큰 모델을 담을 수 있는 몇 안 되는 소비자용 기기이며, 두세 대를 연결하는 편이 데이터센터 GPU 랙보다 메모리를 늘리는 더 저렴한 길입니다.
단서는 모든 유출 정보에 따르는 것들입니다. Apple은 Harbor를 발표하지 않았고, 설명은 게시물 하나에서 나왔으며, 비공개 프리뷰가 늘 출시로 이어지지는 않습니다. 가격, 지원되는 Mac, 제공될 모델, 클러스터 추론이 실제로 얼마나 빠를지는 알려진 바가 없습니다. 또 Thunderbolt 5가 필요하므로 클러스터링은 최신 고급 Mac으로 제한됩니다.