VibeVoice-ASR의 개요
VibeVoice-ASR은 Microsoft Research의 오픈 음성 인식 모델로, 2026년 1월 21일 MIT 라이선스로 공개되었습니다. 64K 토큰 윈도우 안에서 최대 60분 오디오를 한 번에 처리하고, 전사, 화자 분리, 타임스탬프를 결합해 누가 언제 무엇을 말했는지 구조화된 전사문을 만듭니다. 50개가 넘는 언어를 지원하고, 언어 전환을 처리하며, 이름과 전문 용어용 커스텀 핫워드를 받습니다.
VibeVoice 계열에 속하는데, 그 이력이 중요합니다. Microsoft는 2025년 8월 VibeVoice 텍스트 음성 변환 모델을 공개했다가, '밝힌 의도와 맞지 않는 방식으로 사용된' 것을 확인하고 2025년 9월 GitHub에서 코드를 내렸습니다. TTS 가중치는 들리는 AI 고지와 워터마크가 내장된 채 Hugging Face에 남아 있지만, 연구 전용으로 표시되어 있습니다. ASR 계열은 계속 나왔습니다. 2026년 7월 CPU 친화적인 BitNet 빌드가, 2026년 9월 Streaming 버전이 뒤따랐습니다.
VibeVoice-ASR, 쓸 만한 가치가 있습니까?
VibeVoice-ASR은 녹음이 짧은 클립이 아니라 긴 회의일 때 고를 오픈 모델입니다. Whisper와 Parakeet은 단어를 반환하고, 누가 언제 말했는지 알아내는 것은 자체 오류를 가진 두 번째 모델의 몫입니다. Microsoft 모델은 64K 토큰 윈도우 하나에서 최대 60분 동안 둘 다 하며, 덕분에 화자 표시가 첫 1분부터 마지막까지 일관됩니다.
Microsoft는 이제 수치를 차트만이 아니라 텍스트로도 공개합니다. 다국어 MLC-Challenge 회의 세트에서 11개 언어 평균 화자 분리 오류율 3.42%, WER 12.07%를 보고하며, 영어 7.99%부터 포르투갈어 21.54%까지입니다. 멀리 떨어진 마이크 하나로 녹음한 원거리 영어(AMI-SDM)에서는 WER이 24.65%로 오릅니다. 이는 대부분의 순위표가 쓰는 낭독 음성 세트가 아니라 자체 보고한 회의 벤치마크이며, 이 모델은 여전히 Artificial Analysis 음성 인식 순위(10월 26일 기준 61개 모델 평가)에 없습니다. 그곳에서 호스팅 Parakeet은 4.5%, ElevenLabs Scribe v2는 2.2%입니다.
전사 모델치고는 무겁습니다. Hugging Face에는 약 90억(9 billion) 파라미터와 17 GB의 BF16 가중치가 표시되어 있어 Parakeet의 6억(0.6 billion)과 비교되며, Microsoft 설치 가이드는 flash attention이 포함된 NVIDIA PyTorch 컨테이너에서 시작합니다. BitNet 빌드인 VibeASR.cpp는 모델을 1.58 GB로 줄이고, Microsoft 설명에 따르면 CPU 스레드 세 개에서 실시간보다 빠르게 돌아갑니다. MIT 라이선스는 상업적 이용을 허용하지만, README는 모델이 '연구 개발 목적 전용'이라 하고 추가 테스트 없이 상업적으로 쓰지 말라고 권하는데, 법무팀이 꼼꼼히 읽을 문장입니다.
이 계열의 악용 이력은 음성 합성에 관한 것입니다. Microsoft는 2025년 9월 VibeVoice TTS 코드를 내렸습니다. 전사에는 사칭 위험이 없고, ASR 계열은 계속 출시되어 2026년 3월 Transformers 지원과 Azure AI Foundry Labs 등록, 9월 핫워드를 지원하는 스트리밍 모델이 나왔습니다. 그 스트리밍 모델은 배치 모델 범위의 5분의 1인 10개 언어를 지원합니다.
제 역할을 하는 곳
여유 데이터센터 GPU가 있는 직원 200명 회사의 플랫폼 엔지니어
오디오 를 밖으로 보내지 않고 녹음된 회의를 화자 표시와 함께 전사하기
vLLM으로 모델을 서빙하고 최대 1시간짜리 녹음을 요청 하나로 보내며, 참석자 이름과 프로젝트 용어를 핫워드로 넘깁니다. 분당 요금은 없고 비용은 GPU 시간이며, 오디오는 네트워크를 떠나지 않습니다.
월 40시간 인터뷰를 발행하는 팟캐스트 제작사
쇼 노트와 자막용으로 화자가 표시된 전사문 얻기
에피소드당 한 번 처리하면 타임스탬프와 함께 누가 무엇을 말했는지 반환되어, Whisper와 화자 분리를 묶은 파이프라인을 대체합니다. 비교하자면 ElevenLabs Scribe v2로 2,400분은 시간당 $0.22 기준 월 약 $9이므로, 자체 호스팅은 GPU가 이미 있거나 오디오를 사내에 둬야 할 때만 이득입니다.
노트북으로 인터뷰를 녹음하는 현장 연구자
GPU나 클라우드 서비스 없이 전사하기
BitNet 빌드인 VibeASR.cpp는 1.58 GB이며, Microsoft에 따르면 CPU 스레드 세 개에서 실시간보다 빠르게 돌아갑니다. 전체 모델 대비 정확도는 우리가 읽은 수치에 공개되어 있지 않습니다.
도입 전 확인할 점
- 설정
- Microsoft 가이드는 NVIDIA PyTorch 25.12 컨테이너에서 시작해 flash attention과 저장소를 pip로 설치합니다. Transformers는 2026년 3월부터 네이티브로 로드하며, vLLM 서빙은 별도 가이드가 있습니다.
- 연동
- Transformers, vLLM, CPU용 VibeASR.cpp, Azure AI Foundry Labs를 지원하며, 이를 호스팅하는 Hugging Face 추론 제공자는 없습니다. 파인튜닝 안내는 GitHub에 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 오디오가 사용자 하드웨어에 남습니다. MIT 라이선스는 상업적 이용을 허용하지만, README는 모델을 연구 개발용으로 설명하고 상업적 배포 전에 추가 테스트를 요청합니다.
- 대규모 사용 시 비용
- 호스팅 가격은 없습니다. 자체 호스팅은 GPU에 약 17 GB의 BF16 가중치, 또는 CPU에 1.58 GB BitNet 빌드를 올리는 것입니다. 비교하자면 Together AI는 호스팅 Parakeet에 1,000분당 $1.50, ElevenLabs는 Scribe v2에 약 $3.67(시간당 $0.22)을 받습니다.
- 제한
- 64K 토큰 윈도우에서 한 번에 60분이므로 더 긴 녹음은 나눠야 합니다. 자체 보고 WER은 영어 회의 7.99%부터 원거리 AMI-SDM 24.65%까지이며, 스트리밍 변형은 10개 언어만 지원합니다.
좋은 점
- 전사, 화자 표시, 타임스탬프를 한 번에
- 한 번에 최대 60분, 50개 이상 언어, 커스텀 핫워드
- MIT 라이선스, Transformers와 vLLM 지원
- 1.58 GB BitNet 빌드가 CPU에서 실행
아쉬운 점
- 약 9B 파라미터와 17 GB 가중치
- 정확도는 자체 보고뿐이며 원거리 AMI-SDM에서 WER 24.65%
- README가 추가 테스트 없는 상업적 이용을 만류
- 호스팅 추론 제공자 없음, Azure 접근은 Foundry Labs를 통해서만
추천 대상
별도 화자 분리 단계 없이 화자 표시를 원하며, 자체 하드웨어로 여러 사람이 말하는 긴 녹음을 전사하는 팀.
VibeVoice-ASR 대안
VibeVoice-ASR: 자주 묻는 질문
- VibeVoice-ASR, 쓸 만한 가치가 있습니까?
- VibeVoice-ASR은 1시간짜리 회의를 한 번에 화자가 표시된 전사문으로 바꾸지만, 정확도 수치는 아직 모두 Microsoft 자체 측정입니다. 평점은 5점 만점에 3.8점입니다.
- VibeVoice-ASR의 가격은 얼마입니까?
- MIT 라이선스로 무료입니다. Azure AI Foundry Labs에서도 쓸 수 있습니다.
- VibeVoice-ASR의 단점은 무엇입니까?
- 약 9B 파라미터와 17 GB 가중치; 정확도는 자체 보고뿐이며 원거리 AMI-SDM에서 WER 24.65%; README가 추가 테스트 없는 상업적 이용을 만류; 호스팅 추론 제공자 없 음, Azure 접근은 Foundry Labs를 통해서만.
- VibeVoice-ASR에 적합한 사람은 누구입니까?
- 별도 화자 분리 단계 없이 화자 표시를 원하며, 자체 하드웨어로 여러 사람이 말하는 긴 녹음을 전사하는 팀.
- 팀이나 프로덕션 환경에서 VibeVoice-ASR의 비용은 얼마입니까?
- 호스팅 가격은 없습니다. 자체 호스팅은 GPU에 약 17 GB의 BF16 가중치, 또는 CPU에 1.58 GB BitNet 빌드를 올리는 것입니다. 비교하자면 Together AI는 호스팅 Parakeet에 1,000분당 $1.50, ElevenLabs는 Scribe v2에 약 $3.67(시간당 $0.22)을 받습니다.
- VibeVoice-ASR에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 오디오가 사용자 하드웨어에 남습니다. MIT 라이선스는 상업적 이용을 허용하지만, README는 모델을 연구 개발용으로 설명하고 상업적 배포 전에 추가 테스트를 요청합니다.
- VibeVoice-ASR의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Parakeet TDT 0.6B v3, Whisper large-v3-turbo, ElevenLabs Scribe v2 및 MOSS-Transcribe-Diarize 0.9B입니다.
답변 확인일: 2026년 10월 26일.