Omnilingual ASR의 개요
Omnilingual ASR은 Meta의 FAIR 연구 그룹이 2025년 11월 공개한 오픈 음성 인식 모델군으로, 1,600개 이상의 언어를 받아쓰며 그중 500개 이상은 Meta에 따르면 이전에 어떤 음성 인식 시스템도 지원하지 않던 언어입니다. Meta의 현재 다국어 음성 인식 작업이며, 약 1,100개 언어를 지원한 2023년 Massively Multilingual Speech(MMS) 모델의 후속입니다.
모든 모델은 Meta가 70억 파라미터로 키우고 레이블 없는 음성 430만 시간으로 사전 학습한 wav2vec 2.0 음성 인코더를 공유합니다. 그 위에 두 가지 디코더가 있습니다. 빠른 CTC 디코더와 언어 모델 방식의 LLM-ASR 디코더로, 후자에는 예상 언어와 문자 체계를 지정할 수 있습니다. 각각 300M, 1B, 3B, 7B 인코더 크기로 제공됩니다. 별도의 7B 제로샷 모델은 학습하지 않은 언어도 녹음 몇 개와 그 전사본을 예시로 주면 받아씁니다.
2025년 12월 Meta는 오류율을 낮춘 v2 체크포인트와 길이 제한 없는 음성을 처리하는 LLM-ASR의 Unlimited 변형을 공개했고, 나머지 모델은 40초 미만의 클립만 받습니다. 코드와 모델은 Apache 2.0, 지원이 부족한 350개 언어의 전사 음성을 담은 Omnilingual ASR Corpus는 CC-BY 4.0입니다. 저장소에는 2025년 12월 30일 이후 커밋이 없습니다.
Omnilingual ASR, 쓸 만한 가치가 있습니까?
Omnilingual ASR은 지원 범위가 가장 넓은 오픈 음성 인식 시스템이 며, 격차도 큽니다. Meta의 7B LLM-ASR 모델은 지원하는 1,600개 이상 언어 중 78%에서 문자 오류율 10 미만을 기록합니다. Whisper large-v3도 지원하는 FLEURS 81개 언어에서는 테스트 세트 평균 문자 오류율이 5.6으로 Whisper의 22.6보다 훨씬 낮고, 81개 언어 중 65개에서 이깁니다. 모든 수치는 Meta 자체 논문에서 나왔습니다.
이 평균은 대부분의 구매자가 먼저 신경 쓰는 언어에서는 실력보다 좋아 보이게 만듭니다. Whisper의 평균은 거의 지원하지 않는 언어들 때문에 끌어내려졌고, 자원이 풍부한 유럽 8개 언어로 이뤄진 MLS에서는 Whisper large-v3가 2.0, Omnilingual의 최고 모델이 2.4입니다. 세계에서 가장 많이 쓰이는 언어로 좁히면 7B 모델은 34개 중 24개에서 이깁니다. Meta는 대부분의 상용 업체가 내세우는 단어 오류율이 아니라 문자 오류율을 보고하므로, 업체 사양표와 그대로 나란히 놓고 비교할 수 없습니다.
이 모델이 제자리를 증명하는 곳은 롱테일이고, 가장 약한 곳도 그곳입니다. 학습 음성이 10시간 미만인 546개 언어에서 7B 모델의 평균 문자 오류율은 18.0이며, 10 미만인 언어는 36%뿐입니다. 제로샷 모델은 목록에 없는 언어도 짝을 이룬 녹음 몇 개로 다룰 길을 열지만, Meta는 아직 완전히 학습한 모델에 미치지 못한다고 말합니다. 공개되지 않은 Google USM과 비교하면 FLEURS-102에서 7B 모델이 6.2, USM 최고 변형이 6.5입니다.
엔지니어링은 연구용 수준입니다. 모델은 Hugging Face Transformers가 아니라 Meta의 툴킷 fairseq2에서 돌아가고, 표준 체크포인트는 40초를 넘는 음성을 거부하며, 문서에는 단어 단위 타임스탬프에 대한 설명이 없습니다. 신뢰도 점수 요청은 열린 이슈 38건 중 하나입니다. 저장소는 2025년 12월 말 이후 조용하므로 수정은 느리게 옵니다. 리구리아어나 페로어 같은 언어를 추가하려는 팀은 제약 없는 라이선스로 튼튼한 기반을 얻지만, 영어 영업 통화를 받아쓰는 팀은 이미 가진 것 이상을 얻지 못합니다.
제 역할을 하는 곳
동아프리카와 서아프리카 언어로 라디오 프로그램을 만드는 NGO의 데이터 팀
현지어로 된 수백 시간 분량의 방송을 검색 가능하게 만들기
7B LLM-ASR Unlimited 모델을 A100급 GPU에서 돌리고 프로그램마다 언어 코드를 지정합니다. Meta가 긴 음성에 대해 밝힌 실시간 계수 0.097이면 배치 크기 1에서 1,000시간에 약 97 GPU 시간이 듭니다. 저자원 언어는 편차가 크므로 Meta가 공개한 언어별 오류율 표를 먼저 확인하세요.
소멸 위기 언어를 기록하는 전산언어학자
음성 인식이 전혀 없는 언어의 첫 전사 모델 확보하기
7B 제로샷 모델에 녹음 몇 개와 전사본을 문맥으로 주고, 데이터가 쌓이면 Meta의 레시피로 CTC나 LLM-ASR 체크포인트를 미세 조정합니다. 제로샷 품질은 학습된 모델보다 낮으므로 출력은 고쳐 쓸 초안으로 다룹니다.
견고한 현장용 기기에 오프라인 음성 기능을 만드는 엔지니어
네트워크 없이 지역 언어의 짧은 명령 받아쓰기
300M CTC 모델은 메모리 약 2GiB를 쓰고 A100에서 실시간 계수 0.001로 음성을 처리하므로 더 작은 하드웨어에도 여유가 있습니다. CTC 모델은 저자원 언어에서 잘못된 문자 체계를 고를 수 있는데, 언어를 지정할 수 있는 LLM-ASR 모델은 이를 대부분 피합니다.
도입 전 확인할 점
- 설정
- pip install omnilingual-asr(버전 0.2.0)와 시스템 라이브러리 libsndfile을 설치한 뒤 ASRInferencePipeline을 쓰는 Python 세 줄이면 됩니다. 체크포인트는 처음 사용할 때 fairseq2 캐시로 내려받아집니다. 언어 코드는 eng_Latn 형식입니다.
- 연동
- fairseq2와 PyTorch 기반이며, Meta는 데이터 준비와 미세 조정 레시피, Hugging Face 데모 Space를 제공합니다. Transformers 통합이나 Meta의 호스팅 API는 없습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 음성이 내 하드웨어 밖으로 나가지 않습니다. Apache 2.0은 모델에 상업적 제한이나 용도 제한을 두지 않으며, 코퍼스는 CC-BY 4.0이라 출처 표기가 필요합니다.
- 대규모 사용 시 비용
- A100에서 배치 크기 1일 때 7B LLM-ASR은 VRAM 약 17GiB, 실시간 계수 0.092로 음성 1시간당 약 5.5 GPU 분이 듭니다. 300M CTC는 약 2GiB, 0.001로 1시간당 몇 초입니다. Meta의 BF16 수치로는 24GB GPU 한 장이 약 20GiB인 7B 제로샷 모델을 포함해 모든 모델을 돌립니다.
- 제한
- 표준 CTC와 LLM-ASR 모델은 40초 미만 클립만 받으며, Unlimited 변형은 아직 미세 조정을 지원하지 않습니다. Meta는 자체 평가의 문자 오류율만 보고하고 타임스탬프나 신뢰도 점수는 문서화하지 않습니다.
좋은 점
- 1,600개 이상 언어 지원, 그중 500개 이상은 음성 인식이 처음
- 코드와 가중치 모두 Apache 2.0, 상업적 이용 가능
- 7B LLM-ASR: 지원 언어의 78%에서 CER 10 미만(Meta)
- 300M CTC는 VRAM 약 2GiB, 7B LLM-ASR보다 96배 빠름
아쉬운 점
- 자원이 풍부한 유럽 언어에서는 여전히 Whisper large-v3가 앞섬(MLS 2.0 대 2.4)
- 저자원 언어 평균 CER 18.0, 10 미만은 36%뿐
- 표준 모델은 클립을 40초로 제한, 단어 단위 타임스탬프 문서 없음
- fairseq2 기반, Transformers 미지원, 2025년 12월 이후 커밋 없음
추천 대상
상용 음성 API가 지원하지 않는 언어를 받아써야 하고, 자체 GPU를 운영할 수 있으며 연구용 수준의 도구를 감수할 수 있는 팀.
Omnilingual ASR 대안
Omnilingual ASR: 자주 묻는 질문
- Omnilingual ASR, 쓸 만한 가치가 있습니까?
- 1,600개 언어를 Apache 2.0으로 받아쓰는 오픈 모델은 이것뿐이고, 롱테일 언어에서는 Omnilingual ASR이 기본 선택입니다. 영어와 주요 유럽 언어에서는 Whisper가 여전히 버팁니다. 평점은 5점 만점에 4.2점입니다.
- Omnilingual ASR의 가격은 얼마입니까?
- Apache 2.0으로 무료이며 상업적 이용도 포함됩니다. 학습 코퍼스는 CC-BY 4.0입니다. Meta는 호스팅 API를 제공하지 않으므로 비용은 자체 GPU 시간입니다.
- Omnilingual ASR의 단점은 무엇입니까?
- 자원이 풍부한 유럽 언어에서는 여전히 Whisper large-v3가 앞섬(MLS 2.0 대 2.4); 저자원 언어 평균 CER 18.0, 10 미만은 36%뿐; 표준 모델은 클립을 40초로 제한, 단어 단위 타임스탬프 문서 없음; fairseq2 기반, Transformers 미지원, 2025년 12월 이후 커밋 없음.
- Omnilingual ASR에 적합한 사람은 누구입니까?
- 상용 음성 API가 지원하지 않는 언어를 받아써야 하고, 자체 GPU를 운영할 수 있으며 연구용 수준의 도구를 감수할 수 있는 팀.
- 팀이나 프로덕션 환경에서 Omnilingual ASR의 비용은 얼마입니까?
- A100에서 배치 크기 1일 때 7B LLM-ASR은 VRAM 약 17GiB, 실시간 계수 0.092로 음성 1시간당 약 5.5 GPU 분이 듭니다. 300M CTC는 약 2GiB, 0.001로 1시간당 몇 초입니다. Meta의 BF16 수치로는 24GB GPU 한 장이 약 20GiB인 7B 제로샷 모델을 포함해 모든 모델을 돌립니다.
- Omnilingual ASR에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 음성이 내 하드웨어 밖으로 나가지 않습니다. Apache 2.0은 모델에 상업적 제한이나 용도 제한을 두지 않으며, 코퍼스는 CC-BY 4.0이라 출처 표기가 필요합니다.
- Omnilingual ASR의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Whisper large-v3-turbo, Qwen3-ASR (1.7B and 0.6B), Parakeet TDT 0.6B v3 및 Voxtral 3 (Transcribe and TTS)입니다.
답변 확인일: 2026년 11월 9일.
Omnilingual ASR 개발사입니까? 이 평점을 사이트에 표시하십시오
