Moshi의 개요
Moshi는 Kyutai의 음성 대 음성 대화 모델이자 이를 실행하는 코드입니다. 받아 적고, 생각하고, 그다음 말하는 파이프라인과 달리 Moshi는 듣기와 말하기를 동시에 합니다. 7B 파라미터 transformer로 사용자의 오디오 스트림과 자신의 스트림을 함께 모델링하고, 내적 독백이라고 부르는 병렬 텍스트 스트림도 다룹니다. 코덱 Mimi는 24 kHz 오디오를 초당 12.5프레임, 1.1 kbps로 압축합니다.
저장소에는 세 가지 추론 스택이 있습니다. 연구용 PyTorch, Mac과 iPhone용 MLX, 그리고 운영용으로 CUDA나 Metal에서 돌아가는 Rust이며, moshi.chat 데모의 웹 클라이언 트도 포함되어 있습니다. Moshiko와 Moshika 두 가지 목소리가 제공되며, 같은 코드로 Kyutai의 음성 번역 Hibiki와 스트리밍 음성 인식 및 음성 합성 모델도 실행됩니다.
Python 코드와 웹 클라이언트는 MIT 라이선스, Rust 백엔드는 Apache 2.0이고 가중치는 CC-BY 4.0입니다. GitHub 스타는 약 11,500개이며, moshi 패키지는 2026년 2월 PyPI에서 0.2.13에 도달했고 마지막 커밋은 2026년 5월 16일입니다.
Moshi, 쓸 만한 가치가 있습니까?
Moshi를 볼 이유는 지연 시간입니다. Kyutai는 이론적 하한을 160 ms(80 ms Mimi 프레임에 80 ms 음향 지연)로 잡고, L4 GPU에서 종단 간 약 200 ms를 측정했습니다. 두 화자를 동시에 모델링하기 때문에 말을 끊을 수 있고 사용자가 말하는 동안에도 말할 수 있는데, 음성 인식, 언어 모델, 음성 합성을 잇는 파이프라인은 이를 음성 활동 감지로 흉내 내야 합니다.
그 뒤의 모델은 2024년 이후 바뀌지 않았습니다. 영어만 말하고, FAQ에 따르면 목소리나 성격을 바꾸려면 파인튜닝이 필요하며, 사전 학습 데이터는 공개되지 않습니다. MLX와 Rust 버전은 고정 버퍼를 쓰기 때문에 약 5분 대화 후 멈춥니다. PyTorch 버전은 계속 이어지지만, Kyutai에 따르면 거의 검증되지 않았고 품질이 떨어질 가능성이 큽니다.
실질적인 장벽은 하드웨어입니다. PyTorch 스택에는 양자화가 없어 24 GB GPU가 필요합니다. Rust 백엔드는 CUDA에서 int8로 돌아가며, 12 GB 카드는 이슈 트래커에 있는 우회 방법으로만 되고 8 GB로는 불가능합니다. Mac에서는 4비트 가중치를 쓰는 MLX가 방법이며, Kyutai는 4비트 아래로 내리면 품질이 무너진다고 밝히고 M1에서는 돌아가지 않을 것으로 봅니다.
배포 기본값은 꼼꼼히 읽어야 합니다. PyTorch 서버는 localhost의 8998 포트에서 대기하며 코드에 인증이 없고, Rust 백엔드의 예시 설정은 자체 서명 인증서로 0.0.0.0에 바인딩되어 네트워크에서 접근할 수 있습니다. --gradio-tunnel 옵션은 미국을 경유하는 공개 URL을 만들며, Kyutai에 따르면 유럽에서는 최대 500 ms가 더해질 수 있습니다. 운영용 음성 에이전트라면 더 강한 언어 모델을 중심으로 한 파이프라인이 더 나은 답을 줄 것입니다. Moshi는 전이중 연구의 기준이자 다음 것을 만들 사람을 위한 토대입니다.
제 역할을 하는 곳
대학 연구실의 음성 연구자
음성 대화에서 말 순서 바꾸기와 끼어들기를 연구하고 싶다
24 GB GPU에서 PyTorch 서버를 실행하고, Moshi가 예측하는 내적 독백 텍스트와 함께 두 오디오 스트림을 기록합니다. 공개 가중치와 arXiv 기술 보고서가 인용 가능한 기준이 되고, 코드는 MIT로 무료입니다.
소비자용 로봇 스타트업의 음성 인터페이스 엔지니어
제품을 만들기 전에 1초 미만으로 끼어들 수 있는 대화가 제품에 어떤 의미인지 직접 느껴 보고 싶다
CUDA로 Rust 백엔드를 빌드하고 int8 가중치용 config-q8.json으로 시작한 뒤 8998 포트에서 웹 UI를 엽니다. 시제품으로 다루세요. 영어 전용, 고정된 페르소나, 약 5분 뒤 끝나는 세션입니다.
온디바이스 음성을 탐색하는 Mac 개발자
클라우드 비용 없이 음성 대 음성 모델을 시험해 보고 싶다
Python 3.12에서 pip install moshi_mlx를 실행하고 Apple silicon에서 python -m moshi_mlx.local -q 4를 실행합니다. Kyutai는 M3 MacBook Pro에서 테스트했습니다. 명령줄 클라이언트에는 에코 제거가 없으니 웹 UI나 헤드폰을 쓰세요.
도입 전 확인할 점
- 설정
- pip install moshi(Python 3.10 이상, 3.12 권장) 후 python -m moshi.server를 실행하면 Hugging Face에서 가중치를 내려받고 localhost:8998에서 웹 UI를 제공합니다. Rust 백엔드는 Rust 툴체인과 nvcc가 포함된 CUDA, 또는 macOS의 Metal이 필요합니다. Docker Compose는 CUDA에서 동작합니다.
- 연동
- 웹 UI, Python 및 Rust 명령줄 클라이언트, Gradio 데모가 하나의 스트리밍 프로토콜을 공유합니다. rustymimi는 Mimi 코덱용 Python 바인딩을 제공하며, 같은 스택으로 Hibiki와 Kyutai의 스트리밍 음성 인식 및 음성 합성 모델이 실행됩니다.
- 데이터와 개인정보
- 자체 호스팅이므로 오디오는 내 기기에 머뭅니다. 단, --gradio-tunnel을 켜면 미국을 경유하는 공개 URL로 서버가 노출됩니다. Rust 예시 설정은 자체 서명 인증서로 0.0.0.0:8998에 바인딩되며, PyTorch 서버에는 로그인이 없습니다. 가중치는 저작자 표시가 필요한 CC-BY 4.0입니다.
- 대규모 사용 시 비용
- 코드와 가중치는 무료이고 비용은 GPU 시간입니다. PyTorch용 24 GB 카드부터 CUDA 위의 int8 Rust 배포까지 있습니다. GPU 하나가 동시 대화를 몇 개 처리하는지는 Kyutai가 공개하지 않습니다.
- 제한
- 영어 전용, PyTorch에 24 GB VRAM 필요, MLX와 Rust에서 약 5분 세션, Windows 공식 지원 없음, 사전 학습 데이터셋 비공개.
좋은 점
- L4 GPU에서 종단 간 약 200 ms 지연
- 전이중: 말하면서 듣고 끼어들기도 처리
- PyTorch, MLX, Rust 스택과 바로 쓸 수 있는 웹 클라이언트
- CC-BY 4.0 공개 가중치, MIT와 Apache 2.0 코드
아쉬운 점
- 영어 전용이며 새 목소리나 페르소나에는 파인튜닝이 필요
- PyTorch는 24 GB GPU가 필요하고 8 GB 카드로는 실행 불가
- MLX와 Rust 세션은 약 5분 후 멈춤
- 모델은 2024년 공개 이후 그대로
추천 대상
자체 GPU에서 전이중 음성 대화 모델을 연구하거나 확장하려는 음성 연구자와 음성 인터페이스 엔지니어.
Moshi 대안
Moshi: 자주 묻는 질문
- Moshi, 쓸 만한 가치가 있습니까?
- Moshi는 진짜로 대화하는 음성 모델이 어떤 느낌인지 여전 히 보여 주지만, 24 GB GPU를 요구하는 2024년의 영어 전용 모델은 연구 플랫폼이지 제품에 넣을 음성 에이전트가 아닙니다. 평점은 5점 만점에 3.6점입니다.
- Moshi의 가격은 얼마입니까?
- 무료입니다. 코드는 MIT와 Apache 2.0, 가중치는 CC-BY 4.0입니다. 유료 에디션은 없습니다.
- Moshi의 단점은 무엇입니까?
- 영어 전용이며 새 목소리나 페르소나에는 파인튜닝이 필요; PyTorch는 24 GB GPU가 필요하고 8 GB 카드로는 실행 불가; MLX와 Rust 세션은 약 5분 후 멈춤; 모델은 2024년 공개 이후 그대로.
- Moshi에 적합한 사람은 누구입니까?
- 자체 GPU에서 전이중 음성 대화 모델을 연구하거나 확장하려는 음성 연구자와 음성 인터페이스 엔지니어.
- 팀이나 프로덕션 환경에서 Moshi의 비용은 얼마입니까?
- 코드와 가중치는 무료이고 비용은 GPU 시간입니다. PyTorch용 24 GB 카드부터 CUDA 위의 int8 Rust 배포까지 있습니다. GPU 하나가 동시 대화를 몇 개 처리하는지는 Kyutai가 공개하지 않습니다.
- Moshi에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 오디오는 내 기기에 머뭅니다. 단, --gradio-tunnel을 켜면 미국을 경유하는 공개 URL로 서버가 노출됩니다. Rust 예시 설정은 자체 서명 인증서로 0.0.0.0:8998에 바인딩되며, PyTorch 서버에는 로그인이 없습니다. 가중치는 저작자 표시가 필요한 CC-BY 4.0 입니다.
- Moshi의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 VibeVoice 및 audio.cpp입니다.
답변 확인일: 2026년 11월 14일.