음성 인식 점수는 말하는 사람이 테스트 데이터와 다르게 말하기 전까지는 훌륭해 보입니다. 전사 모델 공개 순위 중 가장 주목받는 곳 가운데 하 나인 Hugging Face의 Open ASR Leaderboard가 바로 그 간극을 겨냥한 비공개 테스트 세트 두 개를 추가했습니다. 데이터 기업 Liva AI가 제공한, 이집트 억양과 나이지리아 억양의 대화체 영어입니다.
새 녹음은 짧습니다. 이집트 세트는 1.34시간, 나이지리아 세트는 1.55시간이며, 둘 다 즉흥 대화를 구두점, 대소문자, 말을 고쳐 시작하는 것 같은 머뭇거림까지 살려 전사했습니다. 이들은 몇 달 전 Appen과 DataOceanAI가 제공한, 다섯 가지 억양의 낭독과 대화를 담은 비공개 세트 11개, 그리고 이후 Voice Arena가 추가한 인도 억양 영어 비공개 세트에 합류합니다.
핵심은 비공개라는 점입니다. 공개 벤치마크는 시간이 지나면 학습 데이터로 새어 들어가고 모델이 거기에 맞춰 조정될 수 있는데, 순위 운영진은 이를 benchmaxxing이라고 부릅니다. 개발자가 내려받을 수 없는 보관 음성은 속이기 어렵기 때문에, 그 점수는 모델이 실제 사용자를 얼마나 잘 처리할지 더 잘 알려 줍니다. 새 억양이 더해지면서 순위의 비공개 탭은 이제 두 가지 비교를 보여 줍니다. 미국 화자와 그 밖의 화자(영국, 호주, 캐나다, 인도, 나이지리아, 이집트)의 비교, 그리고 언어학자 Braj Kachru의 영어 세 개의 원 모델에 따라 영어가 모국어인 내부 원 국가들과 인도, 나이지리아, 이집트의 비교입니다.
저희가 리뷰한 Qwen3-ASR, Whisper Large v3 Turbo, Parakeet 같은 전사 모델 중에서 고르려는 사람에게 이는 유용한 두 번째 의견입니다. 깔끔하게 낭독된 미국 영어에서 1위인 모델도 빠르고 억양이 강한 대화에서는 크게 뒤처질 수 있으며, 많은 콜센터, 병원, 법원이 실제로 다루는 것이 바로 그런 음성입니다.
한계는 분명합니다. 한 업체가 제공한 3시간이 안 되는 새 음성은 작은 표 본이므로, 이 세트에서 모델 간 작은 점수 차이를 의미 있게 봐서는 안 됩니다. 억양 두 개로는 아프리카와 중동에서 쓰이는 영어의 다양함을 대표할 수 없고, 운영진은 억양이 더 늘어나야 외부 원과 확장 원을 더 나누겠다고 말합니다. 비공개 데이터에는 양면도 있습니다. 조작에는 강하지만 외부인은 그 품질이나 균형을 확인할 수 없습니다. Liva AI는 소비자용 제품을 통해 데이터를 모으며 글은 이를 자연스러운 발화로 소개하지만, 동의 절차나 화자 수에 대한 설명은 없습니다.