VibeVoice의 개요
VibeVoice는 Microsoft Research가 공개한 음성 모델군의 저장소입니다. 모델들은 같은 설계를 공유합니다. 초당 7.5프레임으로 동작하는 연속형 음향·의미 토크나이저, 맥락을 처리하는 Qwen2.5 언어 모델, 오디오 세부를 만드는 확산 헤드입니다. 저장소에는 추론 코드, 데모, vLLM 서빙 가이드, ASR 파인튜닝 스크립트가 있고 가중치는 Hugging Face에 있습니다. 모두 MIT 라이선스입니다.
등록된 모델은 다섯 개입니다. VibeVoice-ASR(2026년 1월)은 최대 60분을 한 번에 처리해 화자 라벨과 타임스탬프가 붙은 전사를 50개 이상 언어로 만듭니다. VibeVoice-ASR-Streaming(2026년 9월)은 오디오가 들어오는 동안 텍스트를 내보내며 10개 언어를 지원합니다. VibeVoice-ASR-BitNet(2026년 7월)은 1.58 GB의 CPU용 빌드로, 별도 저장소인 VibeASR.cpp에서 구동됩니다. VibeVoice-Realtime-0.5B(2025년 12월)는 단일 화자 스트리밍 음성 합성 모델입니다. VibeVoice-TTS-1.5B(2025년 8월)는 최대 4명의 화자로 최대 90분의 대화를 생성하지만, 오용이 확인된 뒤 2025년 9월 5일에 코드가 삭제되었습니다.
저장소는 2025년 8월 25일에 만들어졌고 스타 약 56,600개, 포크 6,375개이며 GitHub 릴리스는 없습니다. 마지막 커밋은 2026년 10월 8일입니다. README는 모든 모델을 '연구 개발 목적으로만 의도된 것'이라고 설명합니다.
VibeVoice, 쓸 만한 가치가 있습니까?
VibeVoice는 음성 합성이 아니라 음성 인식 모델 때문에 지켜볼 가치가 있습니다. 핵심은 별도로 모델 리뷰를 한 VibeVoice-ASR로, 1시간 분량의 오디오를 64K 토큰 창 하나에서 처리해 누가 언제 무엇을 말 했는지 돌려줍니다. 그 주변으로 스트리밍 변형, vLLM 서빙 경로, 파인튜닝 코드, 그리고 1.58 GB BitNet 빌드가 추가되었습니다. 이 빌드는 4.62 GB에서 압축되었고, Microsoft에 따르면 CPU 스레드 3개로 실시간보다 빠르게 돌아갑니다. Hugging Face는 ASR 가중치를 약 87억 파라미터로 표시하므로 전체 모델에는 데이터센터급 GPU가 필요합니다.
음성 합성의 이력은 나머지를 얼마나 믿을지에 영향을 줍니다. VibeVoice-TTS-1.5B는 이름과 달리 Hugging Face 기준 약 27억 파라미터이며, 2025년 8월 25일에 90분·4화자 생성 기능과 함께 공개되어 ICLR 2026 구두 발표로 채택되었습니다. 11일 뒤 Microsoft는 이 도구가 '명시된 의도와 맞지 않는 방식으로 사용되었다'며 코드를 삭제했습니다. Hacker News 사용자들은 저장소가 비공개로 바뀌고 404를 반환했다가 다시 돌아오는 과정을 지켜봤습니다. 더 큰 7B TTS 가중치는 Hugging Face에서 내려갔고 호스팅 데모도 비활성화되었습니다. 1.5B 가중치는 지금도 내려받을 수 있으며, 모든 출력에 AI 생성임을 알리는 음성 고지와 들리지 않는 워터마크가 들어갑니다. 삭제된 코드는 커뮤니티 포크가 유지하고 있지만, 이는 Microsoft의 지원과 연구 전용 조건 밖에 있습니다.
VibeVoice-Realtime-0.5B는 Microsoft가 아직 코드를 제공하는 TTS이며, 일부러 범위를 좁혔습니다. 한 번에 한 목소리로 말하고, 영어가 우선이며, 9개 언어는 실험 단계입니다. 목소리는 내장된 프롬프트로 제공되므로 샘플을 이용한 복제는 할 수 없습니다. 첫 음성은 약 200~300밀리초 안에 나오는데, 어느 숫자인지는 Microsoft의 어떤 문서를 보느냐에 따라 다릅니다. 8K 컨텍스트 때문에 한 번의 생성은 약 10분이 한계입니다. Microsoft는 LibriSpeech test-clean에서 단어 오류율 2.00%를 보고하며, NVIDIA T4나 Apple M4 Pro로 실시간을 유지한다고 말합니다.
라이선스와 주의 문구는 서로 다른 방향을 가리킵니다. MIT는 상업적 사용을 허용하지만, README와 모델 카드는 모델이 연구 개발용이며 추가 검증 없이 상업 배포하지 말 것을 권합니다. 설치 가이드는 --privileged와 --net=host로 실행하는 NVIDIA PyTorch 컨테이너에서 시작하는데, 개발용 PC에서는 괜찮지만 공유 서버에서는 잘못된 방식입니다. 스트리밍 ASR 데모는 포트 7870에서 WebSocket 페이지를 제공합니다. 2026년 10월 8일의 최신 커밋은 스트리밍 ASR에서 원격 URL 오디오 가져오기를 제거했습니다. 열린 이슈와 풀 리퀘스트가 205개이고 태그된 릴리스가 없으니, 무엇을 실행하는지 알려면 커밋을 고정하는 수밖에 없습니다.
제 역할을 하는 곳
사내 회의를 녹음하는 300명 규모 회사의 ML 엔지니어
자체 GPU에서 한 모델군으로 배치 전사와 실시간 전사를 함께 처리
최대 1시간 녹음에는 VibeVoice-ASR을 vLLM으로, 실시간 자막에는 VibeVoice-ASR-Streaming을 서빙하고 둘 다 참석자 이름을 핫워드로 넘깁니다. 스트리밍은 10개 언어, 배치는 50개 이상을 지원하므로 먼저 언어 목록을 확인하십시오.
LLM 에이전트의 음성 프런트엔드를 만드는 개발자
답변이 끝나기 전에 에이전트가 말하기 시작하게 만들기
스트리밍 텍스트를 VibeVoice-Realtime-0.5B에 넣습니다. Microsoft에 따르면 첫 음성은 약 200~300밀리초 안에 나오고 T4에서 실시간으로 돌아갑니다. 내장된 목소리만 쓸 수 있고 영어 외 언어는 실험 단계입니다.
긴 대화 음성 합성을 연구하는 음성 연구자
ICLR 2026 논문의 다화자 TTS 결과 재현
1.5B 가중치와 논문은 여전히 공개되어 있지만 Microsoft는 더 이상 추론 코드를 제공하지 않습니다. README는 기술 보고서를 링크하며, 모든 출력에는 음성 고지와 워터마크가 들어갑니다.
도입 전 확인할 점
- 설정
- 문서가 지정한 NVIDIA PyTorch 컨테이너(24.07~25.12 검증)를 실행하고, 없으면 flash attention을 설치한 뒤 클론에서 pip install -e .를 실행합니다. 실시간 TTS에는 [streamingtts] 엑스트라가, 스트리밍 ASR에는 ffmpeg가 필요합니다. VibeVoice-ASR은 Transformers에서도 기본으로 불러올 수 있습니다.
- 연동
- ASR용 Hugging Face Transformers, 배치·스트리밍 ASR용 vLLM 가이드, CPU용 VibeASR.cpp, 호스팅 체험용 Azure AI Foundry Labs, Gradio와 FastAPI 데모, 실시간 TTS용 Colab 노트북이 있습니다.
- 데이터와 개인정보
- 직접 호스팅하므로 오디오와 텍스트는 자체 하드웨어에 남습니다. 권장 docker 명령은 --privileged와 --net=host를 쓰고, 스트리밍 ASR 데모는 포트 7870에서 대기합니다. 둘 다 공유 네트워크에 두지 마십시오. MIT 라이선스지만 README는 연구 개발 용도로만 쓰라고 설명합니다.
- 대규모 사용 시 비용
- 호스팅 가격은 없습니다. 비용은 GPU 시간이며, Hugging Face 집계로 ASR이 약 87억 파라미터, 1.5B TTS가 약 27억, 0.5B 실시간 모델이 약 10억 파라미터입니다. 1.58 GB BitNet 빌드라면 CPU 시간으로 충분합니다.
- 제한
- ASR은 한 번에 60분까지, 실시간 TTS는 한 번 생성에 약 10분, 단일 화자, 영어 우선입니다. 장편 TTS에는 공식 추론 코드가 없습니다. 벤치마크는 Microsoft 자체 수치이며 고정할 태그 릴리스도 없습니다.
좋은 점
- 장편 ASR이 화자 라벨과 타임스탬프를 한 번에 출력
- 스트리밍 ASR, vLLM 서빙, 파인튜닝 코드가 한 저장소에
- 1.58 GB BitNet ASR 빌드는 CPU에서 동작
- 코드와 가중치 모두 MIT 라이선스
아쉬운 점
- 장편 TTS 코드는 2025년 9월 삭제, 7B TTS 가중치도 철회
- 실시간 TTS는 단일 화자, 영어 우선이며 음성 복제 불가
- README는 모든 모델을 연구 개발용으로 한정
- 태그된 릴리스 없음, 열린 이슈와 풀 리퀘스트 205개
추천 대상
여러 화자가 나오는 긴 오디오를 자체 환경에서 전사하면서, 배치·스트리밍·CPU 인식을 관리되는 저장소 하나로 해결하고 작은 영어 실시간 음성도 함께 쓰려는 팀에 맞습니다.
VibeVoice 대안
VibeVoice: 자주 묻는 질문
- VibeVoice, 쓸 만한 가치가 있습니까?
- VibeVoice는 이제 작은 실시간 음성이 딸린 탄탄한 오픈 전사 라인업이며, 이 프로젝트를 유명하게 만든 장편 TTS가 바로 Microsoft 코드로는 더 이상 돌릴 수 없는 부분입니다. 평점은 5점 만점에 3.9점입니다.
- VibeVoice의 가격은 얼마입니까?
- MIT 라이선스로 무료이며 가중치도 Hugging Face에서 무료입니다. VibeVoice-ASR은 Azure AI Foundry Labs에서도 제공됩니다. 유료 버전은 없습니다.
- VibeVoice의 단점은 무엇입니까?
- 장편 TTS 코드는 2025년 9월 삭제, 7B TTS 가중치도 철회; 실시간 TTS는 단일 화자, 영어 우선이며 음성 복제 불가; README는 모든 모델을 연구 개발용으로 한정; 태그된 릴리스 없음, 열린 이슈와 풀 리퀘스트 205개.
- VibeVoice에 적합한 사람은 누구입니까?
- 여러 화자가 나오는 긴 오디오를 자체 환경에서 전사하면서, 배치·스트리밍·CPU 인식을 관리되는 저장소 하나로 해결하고 작은 영어 실시간 음성도 함께 쓰려는 팀에 맞습니다.
- 팀이나 프로덕션 환경에 서 VibeVoice의 비용은 얼마입니까?
- 호스팅 가격은 없습니다. 비용은 GPU 시간이며, Hugging Face 집계로 ASR이 약 87억 파라미터, 1.5B TTS가 약 27억, 0.5B 실시간 모델이 약 10억 파라미터입니다. 1.58 GB BitNet 빌드라면 CPU 시간으로 충분합니다.
- VibeVoice에 회사 데이터를 맡겨도 안전합니까?
- 직접 호스팅하므로 오디오와 텍스트는 자체 하드웨어에 남습니다. 권장 docker 명령은 --privileged와 --net=host를 쓰고, 스트리밍 ASR 데모는 포트 7870에서 대기합니다. 둘 다 공유 네트워크에 두지 마십시오. MIT 라이선스지만 README는 연구 개발 용도로만 쓰라고 설명합니다.
- VibeVoice의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 audio.cpp 및 VoiceStudio입니다.
답변 확인일: 2026년 11월 7일.