音声認識のスコアは、話し手がテストデータと違う話し方をするまではすばらしく見えます。文字起こしモデルの公開ランキングとして最も注目されているものの1つ、Hugging FaceのOpen ASR Leaderboardは、まさにその差を狙った非公開のテストセットを2つ追加しました。データ企業Liva AIが提供した、エジプトなまりとナイジェリアなまりの会話英語です。
新しい録音は短いものです。エジプトのセットは1.34時間、ナイジェリアのセットは1.55時間で、どちらも自然な会話を、句読点、大文字小文字、言い直しのような言いよどみを残したまま文字に起こしています。これらは、数か月前にAppenとDataOceanAIが提供した、5つのなまりの朗読と会話を含む11の非公開セットと、その後Voice Arenaが加えたインドなまりの英語の非公開セットに続くものです。
肝心なのは非公開であることです。公開ベンチマークはいずれ学習データに紛れ込み、モデルがそれに合わせて調整されることもあります。ランキングの運営者はこれをbenchmaxxingと呼んでいます。開発者がダウンロードできない手元保管の音声はごまかしにくいため、そのスコアは実際の話し手にモデルがどう対応するかをよりよく示します。新しいなまりの追加により、ランキングの非公開タブでは2つの比較が示されるようになりました。米国の話し手とそれ以外(英国、オーストラリア、カナダ、インド、ナイジェリア、エジプト)の比較と、言語学者Braj Kachruの英語の「3つの円」のモデルに基づく、英語を母語とする内円の国々とインド、ナイジェリア、エジプトの比較です。
当サイトでレビューしているQwen3-ASR、Whisper Large v3 Turbo、Parakeetなどから文字起こしモデルを選ぶ人にとって、これは役に立つ別の視点です。きれいに読み上げられた米国英語で首位のモデルでも、速くてなまりのある会話では大きく順位を落とすことがあり、多くのコールセンター、診療所、裁判所が実際に扱っているのはそうした音声です。
限界ははっきりしています。1社から提供された3時間足らずの新しい音声は小さな標本で、これらのセットでのモデル間の小さなスコア差を意味のあるものとみなすべきではありません。2つのなまりでは、アフリカや中東で話されている英語の幅広さは表せず、運営者は外円と拡大円をさらに分けるのは、なまりがもっと増えてからだとしています。非公開データには両面もあります。ごまかしには強い一方、外部の人はその質や偏りを確かめられません。Liva AIは消費者向け製品を通じてデータを集めており、記事はそれを自然な発話として紹介していますが、同意の取り方や話者の人数についての説明はありません。