MLX의 개요
MLX는 Apple 머신러닝 연구 그룹이 만든 배열 프레임워크로, CPU와 GPU가 하나의 RAM을 공유하는 Apple 실리콘의 통합 메모리를 위해 설계됐습니다. Python API는 NumPy를, nn과 optimizers 패키지는 PyTorch를 따르고, C++, C, Swift API가 이를 그대로 반영합니다. 연산은 지연 실행되고 그래프는 동적으로 만들어지므로, 입력 형태가 바뀌어도 다시 컴파일하지 않습니다.
이제 Mac 전용이 아닙니다. `pip install mlx[cuda12]`(또는 `mlx[cuda13]`)로 SM 7.5 이상의 Nvidia GPU가 있는 Linux에서 실행되고, `mlx[cpu]`는 CPU 전용 Linux 빌드를 줍니다. 대부분은 Hugging Face Hub의 LLM을 실행하고, 양자화하고, LoRA 파인튜닝하는 동반 패키지 mlx-lm을 통해 MLX를 접합니다. Hub에서는 mlx-community 조직이 변환된 모델 약 5,800개를 호스팅합니다.
버전 0.32.4는 2026년 10월 14일 MIT 라이선스로 나왔습니다.
MLX, 쓸 만한 가치가 있습니까?
MLX가 중요한 이유는 하나의 하드웨어 사실 때문입니다. Apple 실리콘에서는 GPU가 시스템 메모리 전체에 접근할 수 있습니다. RAM이 많은 Mac은 다른 환경이라면 데이터센터 GPU가 필요할 양자화 모델을 담을 수 있고, MLX는 공유 메모리에 있는 배열이 복사 없이 CPU나 GPU에서 돌도록 바로 그 점을 중심으로 작성됐습니다. 저장소의 GitHub 스타는 약 28,900개이며, 2026년 10월 14일 0.32.4를 냈습니다.
실용적 가치의 대부분은 핵심 라이브러리보다 mlx-lm(스타 약 7,400개)에 있습니다. Hugging Face Hub에서 모델을 바로 불러오고, 양자화해 올리고, mlx_lm.server로 HTTP 서빙하고, LoRA와 QLoRA 파인튜닝을 실행합니다. 자체 문서는 구체적인 수치를 제시합니 다. 32 GB M1 Max에서 배치 크기 1, 튜닝 레이어 네 개로 Mistral 7B를 LoRA 학습하면 초당 약 250토큰입니다.
한계는 Mac의 한계입니다. RAM 크기에 가까운 모델은 sysctl로 GPU 고정 메모리 한도를 올리지 않으면 느리며, 이는 macOS 15가 필요합니다. 기본 패키지는 macOS 14가 필요합니다. 열린 이슈에는 디스플레이가 켜진 동안 Metal의 GPU 워치독이 LoRA 학습을 죽이는 문제와, 173K 토큰 프리필 중 M4 Max에서 커널 패닉이 난 사례가 있습니다. 가중치 로더의 낮은 심각도 CVE 두 건, 즉 load()의 힙 오버플로와 load_gguf()의 잘못된 포인터가 2025년 11월에 공개됐습니다.
CUDA 백엔드가 넓히는 사용자층은 들리는 것보다 작습니다. glibc 2.35 이상의 Linux와 SM 7.5 이상의 Nvidia 카드가 필요하며, 실제 용도는 팀이 Mac에서 MLX 코드를 쓰고 같은 코드를 GPU 서버에서 돌리는 것입니다. 그 하드웨어에서 PyTorch가 갖춘 vLLM과 Hugging Face 학습 스택은 따라오지 않고, AMD용 ROCm 지원은 아직 열린 실험입니다. 추론만 한다면 llama.cpp는 어디서나 돌고 Ollama는 설정을 감춰 줍니다. MLX는 Mac 자체에서 Python 수준의 제어를 원할 때 제 몫을 합니다.
제 역할을 하는 곳
32 GB M 시리즈 MacBook Pro를 쓰는 고객지원 소프트웨어 스타트업의 ML 엔지니어
GPU를 빌리지 않고 지원 대화 기록으로 7B 모델 파인튜닝하기
배치 크기 1, 튜닝 레이어 몇 개, 그래디언트 체크포인팅으로 mlx_lm.lora를 실행합니다. 문서는 32 GB M1 Max에서 Mistral 7B가 초당 약 250토큰이라고 보고하므로, 적당한 데이터셋은 노트북에서 학습됩니다. 비용은 이미 가진 기기의 시간이고, 위험은 디스플레이가 켜진 동안 Metal 워치독이 학습을 죽이는 열린 버그입니다.
새 모델 아키텍처를 시제작하는 대학 연구자
재컴파일을 기다리지 않고 사용자 정의 레이어 반복 실험하기
mlx.nn의 PyTorch 방식 모듈로 모델을 씁니다. 그래프가 동적이라 형태가 바뀌어도 다시 컴파일하지 않고, 조합 가능한 변환이 자동 미분과 벡터화를 제공합니다. 같은 코드를 나중에 mlx[cuda12]로 Linux GPU 장비에서 돌릴 수 있지만, 대규모 학습은 여전히 PyTorch 쪽입니다.
기밀 유지 규정이 엄격한 20명 규모 법률사무소의 IT 책임자
문서를 클라우드 API로 보내지 않고 사무실 Mac에서 비공개 채팅 모델 돌리기
mlx-community에서 4비트 모델을 받아 메모리가 큰 Mac에서 mlx_lm.server로 서빙하거나, MLX를 엔진으로 쓰는 데스크톱 앱을 씁니다. 아무것도 기기를 떠나지 않고 MIT 라이선스라 비용도 없습니다. 지출은 하드웨어와 이를 관리할 사람입니다.
도입 전 확인할 점
- 설정
- macOS 14 이상의 네이 티브 arm64 Python 3.10+에서 `pip install mlx mlx-lm`을 실행합니다. Hub 모델로 처음 mlx_lm.generate를 할 때는 대부분 다운로드 시간입니다. Linux는 mlx[cuda12], mlx[cuda13], mlx[cpu]를 씁니다. 문서에 나온 설치 함정은 네이티브가 아닌(Rosetta) Python입니다.
- 연동
- 불러오기, 변환, 양자화, 업로드를 위한 Hugging Face Hub. safetensors와 GGUF 불러오기. 여러 기기에 걸친 추론과 파인튜닝용 mx.distributed. 앱용 Swift 바인딩. 여러 Mac 채팅 앱의 백엔드로 사용됨.
- 데이터와 개인정보
- 로컬에서 실행됩니다. README는 텔레메트리를 설명하지 않고 저장소의 GitHub 코드 검색에서도 나오지 않으며, 네트워크 접근은 Hub 다운로드용입니다. MIT 라이선스라 상업적 사용에 제한이 없지만 모델 라이선스는 여전히 적용됩니다. 낮은 심각도의 CVE-2025-62608과 CVE-2025-62609가 가중치 로더에 영향을 줬습니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료이고 비용은 Apple 하드웨어입니다. 어떤 모델이 들어갈지는 GPU 등급이 아니라 RAM 크기가 정합니다. Mac 한 대를 넘어서려면 여러 기기에 mx.distributed를 써야 하며, 기기마다 RAM 크기가 다르면 메모리 부족이 난다는 이슈가 열려 있습니다.
- 제한
- CUDA 빌드는 SM 7.5+와 glibc 2.35+ 필요, AMD는 실험 단계. RAM 크기에 가까운 모델은 iogpu.wired_limit_mb를 올리지 않으면 느림. 열린 이슈에는 LoRA 실행을 멈추는 Metal 워치독과 매우 긴 프리필에서의 커널 패닉이 있음.
좋은 점
- GPU가 Mac의 통합 메모리 전체를 쓸 수 있음
- NumPy 방식 Python API와 C++, C, Swift
- mlx-lm으로 LoRA와 QLoRA, 문서 기준 M1 Max에서 약 250 tok/s
- mlx-community에 변환된 모델 약 5,800개
아쉬운 점
- CUDA 빌드에는 PyTorch를 둘러싼 생태계가 없음
- 앱이 아닌 라이브러리: Python을 쓰거나 프런트엔드를 써야 함
- 큰 모델은 macOS 15와 sysctl 조정 필요
- 긴 작업에서 Metal 워치독과 커널 패닉 버그가 열려 있음
추천 대상
Apple 실리콘에서 네이티브 속도와 Python 수준의 제어를 원하는 Mac 기반 개발자와 연구자.
MLX 대안
MLX: 자주 묻는 질문
- MLX, 쓸 만한 가치가 있습니까?
- MLX는 메모리가 큰 Mac을 로컬 추론과 LoRA 튜닝에 쓸 만한 장비로 바꿉니다. Apple 실리콘 밖에서는 이식판일 뿐, 갈아탈 이유는 아닙니다. 평점은 5점 만점에 4.4점입니다.
- MLX의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스입니다.
- MLX의 단점은 무엇입니까?
- CUDA 빌드에는 PyTorch를 둘러싼 생태계가 없음; 앱이 아닌 라이브러리: Python을 쓰거나 프런트엔드를 써야 함; 큰 모델은 macOS 15와 sysctl 조정 필요; 긴 작업에서 Metal 워치독과 커널 패닉 버그가 열려 있음.
- MLX에 적합한 사람은 누구입니까?
- Apple 실리콘에서 네이티브 속도와 Python 수준의 제어를 원하는 Mac 기반 개발자와 연구자.
- 팀이나 프로덕션 환경에서 MLX의 비용은 얼마입니까?
- 소프트웨어는 무료이고 비용은 Apple 하드웨어입니다. 어떤 모델이 들어갈지는 GPU 등급이 아니라 RAM 크기가 정합니다. Mac 한 대를 넘어서려면 여러 기기에 mx.distributed를 써야 하며, 기기마다 RAM 크기가 다르면 메모리 부족이 난다는 이슈가 열려 있습니다.
- MLX에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행됩니다. README는 텔레메트리를 설명하지 않고 저장소의 GitHub 코드 검색에서도 나오지 않으며, 네트워크 접근은 Hub 다운로드용입니다. MIT 라이선스라 상업적 사용에 제한이 없지만 모델 라이선스는 여전히 적용됩니다. 낮은 심각도의 CVE-2025-62608과 CVE-2025-62609가 가중치 로더에 영향을 줬습니다.
- MLX의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 llama.cpp 및 Ollama입니다.
답변 확인일: 2026년 10월 26일.
MLX 개발사입니까? 이 평점을 사이트에 표시하십시오
