OmniVoice의 개요
OmniVoice는 k2-fsa 프로젝트(Next-gen Kaldi)의 오픈 텍스트 음성 변환 모델로, 2026년 3월 말 Hugging Face에 공개됐고 4월 1일 arXiv에 논문이 올라왔습니다. 3~10초 길이의 참조 클립으로 목소리를 복제하고, 성별, 나이, 음높이, 억양, 속삭임 같은 속성으로 목소리를 디자인하며, [laughter] 같은 비언어 태그와 음소 또는 병음 교정을 받습니다.
내세우는 점은 범위입니다. 600개 이상의 언어를 지원하며, 오픈소스 데이터에서 선별한 581,000시간 분량의 오디오로 학습했습니다. 구조는 확산 언어 모델 방식의 단일 단계 비자기회귀 모델로, Qwen3-0.6B에서 초기화했고 텍스트를 바로 음향 토큰으로 변환합니다. 주 체크포인트의 파라미터는 약 6억 1,300만(613 million) 개이며 24 kHz 오디오를 출력합니다.
코드는 Apache 2.0이지만, 함께 제공되는 오디오 토크나이저에는 Boson AI의 Higgs Audio 2 Community License가 붙습니다. 최신 패키지 릴리스는 0.2.1(2026년 7월 16일)이며, 가중치 다운로드는 약 230만(2.3 million) 회입니다.
OmniVoice, 쓸 만한 가치가 있습니까?
OmniVoice의 강점은 폭입니다. 하나의 제로샷 모델이 600개 이상의 언어를 다룹니다. Chatterbox, Kokoro, Qwen3-TTS 같은 대부분의 오픈 경쟁 모델은 많아야 수십 개 언어를 지원합니다. 요루바어, 크메르어, 아랍어 지역 방언으로 말해야 하는 제품이라면 몇 안 되는 오픈 선택지 중 하나입니다.
속도도 빠릅니다. 프로젝트는 실시간 계수를 최저 0.025, 즉 실시간보다 약 40배 빠르다고 보고합니다. Seed-TTS 중국어 테스트 세트에 대한 자체 H100 벤치마크에서는 배치 크기 1에서 0.0899, FlashInfer를 쓴 배치 크기 8에서 0.0115까지 내려갑니다. 파라미터가 약 6억 1,300만(613 million) 개로 CUDA, Apple Silicon, Intel Arc에서 돌아가며, 관리자들은 4 GB Arc A310에서 테스트했다고 밝힙니다.
주의할 점은 라이선스입니다. 모델 코드는 Apache 2.0이지만, 가중치와 함께 배포되는 오디오 토크나이저는 Llama 3 라이선스를 기반으로 한 Boson AI의 Higgs Audio 2 Community License를 따릅니다. 'Built with Higgs Materials' 표시가 필요하고, 연간 활성 사용자가 100,000명을 넘는 서비스는 확장 라이선스를 요청해야 하며 Boson은 이를 거절할 수 있습니다. Llama의 7억(700 million) 명보다 훨씬 낮은 상한입니다.
속도와 범위를 넘어선 품질 주장은 저자들 자신의 것입니다. 논문은 중국어, 영어, 다국어 벤치마크에서 최고 수준의 결과를 보고하지만, 저희는 독립 리더보드 항목을 찾지 못했습니다. README는 교차 언어 복제 시 참조 화자의 억양이 따라오고, 숫자는 단어로 정규화해야 더 잘 읽힌다고 경고합니다.
제 역할을 하는 곳
동아프리카 농촌 지역을 위한 건강 정보 전화 상담을 만드는 NGO
현지 언어로 된 정해진 안내문을 일관된 목소리로 읽어 주기
짧은 클립으로 내레이터 한 명을 복제하고 GPU 한 장에서 오프라인으로 안내 음성을 생성합니다. 사용자 수가 연간 활성 사용자 100,000명 기준에 한참 못 미치므로 커뮤니티 라이선스로 충분합니다.
이러닝 회사의 현지화 엔지니어
원어민 내레이터를 고용하기 전에 20개 언어로 보이스오버 초안 만들기
H100에서 omnivoice CLI로 실시간 계수 0.01 안팎에서 일괄 생성합니다. 비용은 GPU 시간이며, 초안 덕분에 검토자가 대본 문제를 일찍 잡을 수 있습니다.
월간 사용자 200만 명의 소비자 앱
다국어 음성 답변 추가
연간 활성 사용자 100,000명을 넘으면 Higgs Audio 2 라이선스상 Boson의 허락이 필요하므로, 먼저 확장 라이선스를 협상하거나 Apache 또는 MIT 라이선스 모델을 고릅니다.
도입 전 확인할 점
- 설정
- 가속기에 맞는 PyTorch를 설치한 뒤 pip install omnivoice를 실행합니다. omnivoice-demo는 로컬 웹 UI를 띄우며, Hugging Face Space와 Colab 노트북은 설치가 필요 없습니다.
- 연동
- Python API와 명령줄 도구, Hugging Face 가중치를 제공합니다. 참조 클립의 텍스트를 생략하면 Whisper로 자동 전사합니다. 재사용 가능한 음성 복제 프롬프트를 디스크에 저장할 수 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 오디오가 사용자 하드웨어에 남습니다. 코드는 Apache 2.0이며, 오디오 토크나이저의 Higgs Audio 2 Community License는 출처 표시와 연간 활성 사용자 100,000명 초과 시 확장 라이선스를 요구합니다. README는 무단 복제와 사칭을 금지합니다.
- 대규모 사용 시 비용
- API 요금이 없습니다. 저자가 밝힌 H100 한 장, 배치 8 기준 실시간 계수 0.0115라면 1시간 분량의 음성에 GPU 시간 1분이 채 걸리지 않습니다.
- 제한
- 10초보다 긴 참조 클립은 추론을 느리게 하고 품질을 해칠 수 있습니다. 교차 언어 복제 시 억양이 남습니다. Intel XPU에서는 flash attention을 쓸 수 없습니다. 독립 리더보드 결과는 찾지 못했습니다.
좋은 점
- 하나의 모델로 600개 이상의 언어 지원
- 3~10초 클립으로 음성 복제, 속성으로 음성 디자인
- 저자 수치 기준 실시간 계수 최저 0.025
- CUDA, Apple Silicon, Intel Arc에서 실행
아쉬운 점
- 토크나이저 라이선스가 무료 사용을 연간 활성 사용자 100,000명으로 제한
- 품질 주장은 자체 보고
- 교차 언어 복제 시 참조 화자의 억양이 남음
- 저자가 제공하는 호스팅 API 없음
추천 대상
상용 및 오픈 선두 모델이 지원하지 않는 언어로 된 오픈 자체 호스팅 음성이 필요한 개발자.
OmniVoice 대안
OmniVoice: 자주 묻는 질문
- OmniVoice, 쓸 만한 가치가 있습니까?
- OmniVoice는 다른 어떤 모델도 지원하지 않는 언어가 필요할 때 찾을 오픈 TTS 모델입니다. 단, 토크나이저 라이선스는 변호사에게 먼저 보여야 합니다. 평점은 5점 만점에 4.0점입니다.
- OmniVoice의 가격은 얼마입니까?
- 가중치는 무료입니다. 코드는 Apache 2.0, 오디오 토크나이저는 Boson Higgs Audio 2 Community License를 따릅니다(연간 활성 사용자 100,000명 초과 시 확장 라이선스 필요).
- OmniVoice의 단점은 무엇입니까?
- 토크나이저 라이선스가 무료 사용을 연간 활성 사용자 100,000명으로 제한; 품질 주장은 자체 보고; 교차 언어 복제 시 참조 화자의 억양이 남음; 저자가 제공하는 호스팅 API 없음.
- OmniVoice에 적합한 사람은 누구입니까?
- 상용 및 오픈 선두 모델이 지원하지 않는 언어로 된 오픈 자체 호스팅 음성이 필요한 개발자.
- 팀이나 프로덕션 환경에서 OmniVoice의 비용은 얼마입니까?
- API 요금이 없습니다. 저자가 밝힌 H100 한 장, 배치 8 기준 실시간 계수 0.0115라면 1시간 분량의 음성에 GPU 시간 1분이 채 걸리지 않습니다.
- OmniVoice에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 오디오가 사용자 하드웨어에 남습니다. 코드는 Apache 2.0이며, 오디오 토크나이저의 Higgs Audio 2 Community License는 출처 표시와 연간 활성 사용자 100,000명 초과 시 확장 라이선스를 요구합니다. README는 무단 복제와 사칭을 금지합니다.
- OmniVoice의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Chatterbox, Qwen3-TTS, Kokoro-82M 및 Eleven v4 and v4 Turbo입니다.
답변 확인일: 2026년 10월 26일.
OmniVoice 개발사입니까? 이 평점을 사이트에 표시하십시오
