본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

AI 뉴스와 연구

뉴스 ·

PyTorch 2.15, Mac에 FP8과 훨씬 빠른 MoE 디코딩 도입

PyTorch 2.15는 Apple MPS 백엔드에 FP8과 네이티브 그룹 행렬곱을 추가해 Mixture-of-Experts 모델의 디코딩이 2.14보다 5~6.5배 빨라졌습니다. M3 Ultra에서 Qwen3.6-35B-A3B는 초당 9.4토큰에서 61.3토큰으로 올랐습니다. 어휘 전체에 대한 softmax는 약 8배 빨라졌고, Wan2.2 동영상 디코딩의 최대 메모리는 270 GiB에서 8 GiB로 줄었습니다.

2026년 초만 해도 Mac의 PyTorch에서 작은 모델 하나를 돌리려 해도 빠진 연산, 갑작스러운 속도 저하, 소리 없이 불어나는 메모리를 피해 가야 하는 경우가 많았습니다. Apple 관련 작업의 상당 부분을 Hugging Face의 PyTorch 팀이 맡은 PyTorch 2.15는 그 격차를 크게 줄입니다. Transformers, Diffusers, ComfyUI 같은 도구로 Apple silicon에서 모델을 로컬로 돌리는 사람에게는 꽤 오랜만에 가장 영향이 큰 Mac용 릴리스입니다.

핵심은 전문가 혼합 모델의 속도입니다. 토큰마다 가중치 일부만 쓰는 이 방식은 유능한 오픈 모델의 일반적인 설계가 됐습니다. 자체 디코딩 경로를 가진 네이티브 그룹 행렬 곱과, GPU가 CPU를 기다리며 멈추는 일의 감소 덕분에 2.14보다 5~6.5배 빠르게 디코딩합니다. torch.compile을 쓴 M3 Ultra에서 Qwen3.6-35B-A3B는 초당 9.4토큰에서 61.3토큰으로, LFM2.5-8B-A1B는 23.6에서 123.6으로 늘었습니다. 밀집 모델도 이득을 봅니다. 디코딩 층이 이제 전용 행렬-벡터 커널을 써서 실제 층 형태 96개에서 평균 1.23배 빨라졌고, 큰 어휘에 대한 softmax는 약 8배 빨라졌습니다.

속도만큼 중요한 수정도 있습니다. Apple의 MPS 백엔드에 FP8 텐서가 들어와 BF16의 절반 공간에 값을 저장하고 GPU에서 바로 곱할 수 있습니다. Wan2.2의 타일 방식 VAE로 동영상을 디코딩하면 예전에는 메모리가 약 270 GiB까지 올라갔지만, 이제 최고치가 약 8 GiB입니다. 2.14에서 Qwen-Image-2.1 이미지 편집 시 이미지를 조용히 망가뜨리던 패딩 버그도 고쳐져, 인코딩과 디코딩을 거친 결과가 10.06 dB에서 29.95 dB로 올라 CPU와 일치합니다.

Mac 사용자에게는 모델이 이미 PyTorch에서 돌아가는데도 저희가 함께 리뷰하는 Apple 전용 프레임워크 MLX로 돌아가야 할 이유가 줄어듭니다. MLX가 필요 없어지는 것은 아니지만, PyTorch용으로 쓴 코드가 Mac에서 잘 돌아가기까지의 길은 훨씬 덜 고통스러워졌습니다.

업그레이드 전에 주의할 점이 두 가지 있습니다. 새 최소 요건은 macOS 15와 Python 3.11이어서 오래된 환경은 깨집니다. 속도 수치는 Hugging Face가 직접 잰 것으로 대부분 Apple 최상위 칩인 M3 Ultra에서 나왔으므로, 기본형 노트북에서는 절대적인 향상 폭이 더 작습니다. 어텐션은 아직 일부가 Apple의 오래된 MPSGraph 계층을 거치며, 완전히 Metal로 돌아가는 어텐션은 2.16에 예고돼 있고 이번 릴리스에는 없습니다.

결론: Mac은 MLX를 거치지 않고도 PyTorch 모델을 돌릴 수 있는 본격적인 환경이 되고 있습니다. 업데이트 전에 새 최소 요구 사항인 macOS 15와 Python 3.11을 확인하십시오.

관련 리뷰:PyTorchMLX

출처: Hugging Face

다른 기사